Transcript Aide à la décision

Zone de rejet et scoring
Introduction
 Classifieur permet de décider
 Quelle est la qualité de cette décision?
 Exemple:
P Malade X   0.5001
P PasMaladeX   0.4999
 Règle de Bayes dit « X est Malade »
 Et vous?
Autre exemple
Classifieur voiture/vélo
Décision
(c’est la forme voiture)
x
P Voiture x 
classifieur
P Vélo x 
Donnée
(vecteur forme)
Vecteur forme
(vecteur de caractéristiques)
Cadre de discernement: C={Voiture,Vélo}
x
x
P Voiture x   0.95
classifieur
 Décision: x est une voiture
P Vélo x   0.05
x
x
P Voiture x   0.15
classifieur
 Décision: x est un vélo
P Vélo x   0.85
x
P Voiture x   0.60
x
classifieur
P Vélo x   0.40
 Décision: x est une voiture!!!
Rappel : cadre de discernement: C={Voiture,Vélo}
 Introduction de la notion de rejet
 Rejet d’ambiguïté
 Rejet en distance
Un peu de prudence dans un monde d’incertitude !
Règle de décision classique
 Cas paramétrique
– On connaît les ddp px yi 
Règle de décision classique (Bayes)
Exemple
Décision
Décision
réalité
réalité
erreur
x
Bonne classification = 88,5%
x’
Exemple (suite)
Décision
Décision
réalité
réalité

Même problème vu du côté P classe x

Règle de décision avec rejet
 Cas paramétrique
– On connaît les ddp px yi 
Règle de décision avec rejet (Chow, 1957)
d0 : rejet du résultat du classifieur
rA : seuil de rejet
Règle de Chow
 1
si P y  1 x   r ( x)  r A  1 / 2

règle de décision

D( x)   0 si P y  0 x   1  r ( x)  r  1 / 2
du maximum
A

a posteriori (MAP)

rejet sinon
Définition :
rA
1/2
densité e et loi à posteriori
1
classe 0
classe 1
classe 0
classe 1
Lois
a posteriori
Rejet
d’ambiguité
densités
classe 0
rejet
classe 1
x
Exemple de rejet avec rA=0,75
0.75
Bonne classification = 94,5% ; points rejetés = 15,2%
Exemple de rejet avec rA=0,75


Même problème vu du côté de la distribution p x classe pclasse
Exemple de rejet avec rA=0,85
0.85
Bonne classification = 96,3% ; points rejetés = 24,2%
Exemple de rejet avec rA=0,85


Même problème vu du côté de la distribution p x classe pclasse
Exemple de rejet avec rA=0,89
0.89
Bonne classification = 98,5% ; points rejetés = 43,0%
Exemple de rejet avec rA=0,89


Même problème vu du côté de la distribution p x classe pclasse
Exemple de rejet avec rA=0,99
Exemple de rejet avec rA=0,9
Exemple de rejet avec rA=0,8
Exemple de rejet avec rA=0,6
Exemple de rejet avec rA=0,51
Extension de la notion de rejet
Rejet précédent = rejet d’ambiguïté
Mais…
?
Rejet en distance
Rejet en distance
Règle de décision
avec rejet d’ambiguïté et de distance
(Dubuisson, 1990)
rD : rejet du résultat du classifieur si le point x
appartient à une zone éloignée des zones « usuelles »
des classes.
Cd: seuil de rejet en distance
d0 : résultat du classifieur
rA : seuil de rejet d’ambiguïté
rejet de distance
 si Px   rD
 sinon :

D( x)   si P y  1 x   r ( x)  r A  1 / 2
classe1

classe0
 si P y  0 x   1  r ( x)  r A  1 / 2
 sinon
rejet d' ambiguïté
Rejet en distance
rA
1/2
densité e et loi à posteriori
1
Lois
a posteriori
classe 0
classe 1
classe 0
classe 1
Si rD = 0 et
rA = .5 :
règle du MAP
(Bayes pour
le coût 0-1)
densités
rD
rejet de distance
x
classe 0
rejet
classe 1
rejet de distance
Exemple
0.025
rA=0,75 ; Cd = 0,025
Exemple
rA=0, 85 ; Cd = 0,025
Exemple
rA=0, 85 ; Cd = 0,025
Mesure de performances et
qualité de l’utilisation du rejet
Comment mesurer les performances d’une règle de
décision ?
• Matrice de confusion, intervalle de confiance
 Exemple:
Matrice de confusion :
vérité
prévision
w1
w2
w1
204
54
w2
19
55
Probabilité d'erreur estimée :
(54+19)/332=0.22=p
Intervalle de confiance à 95 % : [0.18, 0.27]
• Courbe ROC : performances vs. rejet
Courbe ROC
Courbe ROC
Les courbes ROC (Receiver Operating Characteristic) permettent d'étudier
les variations de la spécificité et de la sensibilité d'un test pour différentes
valeurs du seuil de discrimination. Le terme de courbe ROC peut être
envisagé comme une "courbe de caractéristiques d'efficacité".
La courbe ROC est avant tout
définie pour les problèmes à deux
classes (les positifs et les
négatifs), elle indique la capacité
du classifieur à placer les positifs
devant les négatifs.
Elle met en relation dans un
graphique les taux de faux positifs
(en abscisse) et les taux de vrais
positifs (en ordonnée).
Courbe ROC
Matrice de confusion
Courbe ROC
Courbe ROC
Performances d'un classifieur (sur les points non rejetés)
en fonction du pourcentage de points rejetés
+
+