Transcript Qualité des données

QUALITÉ DES DONNÉES
la méthode générale
modèle de données
mesurer
données non conformes
corriger
données corrigées / S.I. amélioré
prévenir
programmes corrigés
gestion des exceptions
1
MESURER LA QUALITÉ DES DONNÉES
?
?
schéma
BD
?
?
traitement
?
?
système
d'extraction
collecte
des données
?
?
?
objectifs
questions
ce qu’il faut mesurer
les données contenues dans la
base de données sont le résultat
des traitements
les traitements (collecte, calcul,
extraction) respectent-ils les
structures, les relations et les règles
données ?
conformité des données au modèle
des données
les données doivent permettre aux
utilisateurs d’exécuter leurs tâches
l’application rencontre-elle les
besoins des utilisateurs ?
conformité du modèle des données au
besoins utilisateurs
Le modèle des données est le point central de toutes les actions
2
MESURER LA QUALITÉ DES DONNÉES
application A
bd
qualité du système d’informations
programmes
données
modèle A
c o n t ra t s
qualité des données
0-1
c o n t ra t s -a v e n a n t s
0-N
av en an t s
0-1
a v e n a n t s -s in is t re s
0-N
s in is t re s
application B
bd
programmes
données
qualité du système d’informations
modèle A
c o n t ra t s
qualité des données
0-1
c o n t ra t s -a v e n a n t s
0-N
av en an t s
0-1
a v e n a n t s -s in is t re s
0-N
s in is t re s
monde réel
modèle de l’organisation
(A+B+ liens fonctionnels)
co n t rat s
contrats
0-1
co n t rat s -av en an t s
0-1
0-N
av en an t s
0-1
0-N
s in is t res
0-N
contrats-sinistres
contrats-avenants
av en an t s -s in is t res
0-N
avenants
0-N
sinistres
qualité du système d’informations
de l’organisation
3
MESURER LA QUALITÉ DES DONNÉES
4
MESURER LA QUALITÉ DES DONNÉES
5
MESURER LA QUALITÉ DES DONNÉES
6
QUALITÉ DES DONNÉES
la méthode générale
modèle de données
mesurer
données non conformes
corrections
données corrigées
mesures de prévention
programmes corrigées
gestion des exceptions
7
CORRIGER
 Pour les données
 inadéquation des concepts
 segmentation et normalisation des champs
 nettoyage des valeurs des champs
 détection des données « orphelines »
 déduplication des occurrences
 Pour le système d’information
 Amélioration du modèle des données et de l’application
8
CORRIGER
9
PRÉVENIR
La mise en oeuvre de processus de qualité des données doit permettre :
 de nettoyer ponctuellement le fond du fleuve
 d’endiguer l’arrivée de nouveaux flux d’information de qualité douteuse
10
QUALITÉ DES DONNÉES
la méthode générale
modèle de données
mesurer
données non conformes
corrections
données corrigées
mesures de prévention
programmes corrigées
gestion des exceptions
11
PRÉVENIR

Objectif :
(Ré)organiser les flux de données de manière à garantir un niveau
déterminé de qualité et donc minimiser les processus correctifs.

Principe :
Les données sont des produits sortant d'une chaîne de fabrication. On
devrait donc leur appliquer les principes de contrôle de qualité de
l'industrie.



Mesure en différents points
Validation par rapport au monde externe
…

Implique tout autant l'organisation (management, processus
administratifs) que la technologie.

Importance des résistances
12
PRÉVENIR

Technique
Correction des programmes
 Consolidation du dictionnaire de données (méta-données
complètes).
 Réingénierie des BD


Organisationnel
Identification des processus et des flux des données
 Identification des points critiques et des responsabilités
 Formation des utilisateurs
 Restructuration organisationnelle : flux

13
SYNTHÈSE
les étapes de la qualité des données selon Gartner
data
profiling
standardisation
mesurer
dédoublonage
nettoyage
enrichis
sement
corriger
suivi
prévenir
l’apport de la démarche proposée
définition
des règles
détection
des données
« orphelines »
data
profiling
rétroingénierie
correction
des
programmes
fusion des
données
précisions
des concepts
extraction
logique
des données
gestion des
exceptions
évolution
du
modèle
dictionnaire
des
données
14
SYNTHÈSE
1
Comment garantir la conformité des données après la fusion des S.I. ?
2
Comment gérer les données anciennes du SI vis-à-vis des nouvelles règles de gestion ?
3
Comment gérer la qualité des flux de données entrant ou sortant du SI ?
4
Comment gérer les règles de gestion des données vis-à-vis des applications ?
mesurer
corriger
ce qu’il faut faire
prévenir
1
data
profiling
rétroingénierie
préciser et
compléter
les concepts
préciser et
compléter
les règles
corriger les
données
gérer le
dictionnaire
des données
2
data
profiling
rétroingénierie
préciser et
compléter
les concepts
préciser et
compléter
les règles
corriger les
données
gérer le
dictionnaire
des données
3
rétroingénierie
préciser et
compléter
les concepts
préciser et
compléter
les règles
corriger les
programmes
gérer les
exceptions
4
rétroingénierie
préciser et
compléter
les concepts
préciser et
compléter
les règles
corriger les
programmes
gérer les
exceptions
15