Transcript RECONNAISSANCE DE FORMES IAR-6002

RECONNAISSANCE DE
FORMES
IAR-6002
Approches non-paramétriques
 Les
histogrammes
 Les estimateurs de densités
 Technique de classification NN
 Technique de classification k-NN
 Erreurs de classification NN
Les histogrammes
 Les
histogrammes nous permettent d’estimer les
pdf lorsque nous ne connaissons pas leurs formes
paramétriques
 Un histogramme est formé d’intervalles adjacents
représentant un découpage de la plage des valeurs
des caractéristiques x
 Le nombre d’observations tombant dans chaque
intervalle est ensuite affiché en fonction de x
Les histogrammes (exemples
d’histogrammes)
50 observations
Les histogrammes
 Les
probabilités sont alors estimées par
Pj 
nj
Nw j
nj: nombre d’observations dans
l’intervalle j
wj: largeur de l’intervalle j
Les histogrammes (Exemple)
 Avec
2 classes et 1 caractéristique
Les histogrammes (Exemple)
 Sachant
que N=60 et wj=1, nous devons diviser les
nombres d’occurences par 60, P(A) = P(B) = 0.5
 Pour classifier une observation x=7.5, nous devons
calculer des estimations de p(x|A) et p(x|B)
2
P7.5 A 
608  7 
14
P7.5 B  
608  7 
Les histogrammes (Exemple)
 Par
le théorème de Bayes
P (7.5 A) P( A)
P A 7.5 
P (7.5 A) P( A)  P (7.5 B) P( B)
P A 7.5 
P (7.5 A)0.5
P (7.5 A)0.5  P (7.5 B)(0.5)
 0.125
PB 7.5  1  P( A 7.5)  0.875
P(B|7.5) > P(A|7.5) alors x est classé dans B
Les estimateurs de densités
 Les
observations représentent une approximation
grossière de la fonction de densité réelle
 Les observations sont en fait un ensemble de
delta de dirac, un pour chaque observation
 La surface de chaque pic correspond au nombre
d’observations divisé par le nombre total d’observations
Les estimateurs de densités
 Si
nous remplaçons chaque pic par un noyau
(kernel), leur sommation produira alors une
estimation plus douce de la densité
 De plus, si nous estimons des valeurs ponctuelles
de densité, nous pouvons alors centrée une
fonction (window function) à une position donnée
x et ainsi calculée par convolution l’estimation de
la densité à cette position
Les estimateurs de densités
 Si
nous remplaçons chaque pic par un noyau
(kernel), leur sommation produira alors une
estimation plus douce de la densité
 De plus, si nous estimons des valeurs ponctuelles
de densité, nous pouvons alors centrée une
fonction (window function) à une position donnée
x et ainsi calculée par convolution l’estimation de
la densité à cette position
Les estimateurs de densités (Exemple
noyau triangulaire)
Les estimateurs de densités
 L’expression
de convolution
Pˆ ( x)  Pˆs ( x) * K ( x)   Pˆs ( y )K ( x  y )dy
1
ˆ
Ps ( y ) 
N
N
 ( y  x )
i 1
i
Les estimateurs de densités (formes de
divers noyaux)
Formes des noyaux (K(x))
Les estimateurs de densités (exemples
d’estimation de densité)
Noyau triangulaire
Noyau gaussien
Technique de classification NN
 La
technique du voisin le plus proche nous permet
d’éviter le problème de calcul des probabilités
 En fait, nous classons une observation x inconnue
dans la classe la plus proche (NN), ou à l’observation la plus proche dans les données d’entraînement
Technique de classification NN
 Nous
devons alors déterminer l’observation de
référence la plus proche. La distance Euclidienne
est donnée par
a  (a1 ,...., an )
b  (b1 ,...., bn )
d e ( a, b) 
n
 (b  a )
i 1
i
i
2
Technique de classification NN
 Autres
distances
n
d cb (a, b)   bi  ai
Différence absolue
i 1
n
d m (a, b)  max bi  ai
Distance maximale
i 1
n
d r (a, b)   bi  ai
 i 1
r 1/ r



Minkowski
Technique de classification NN
 Exemple
de classification NN
Technique de classification k-NN
 Une
généralisation de la technique NN consiste à
associer la classe Ci à une observation x dont font
partie une majorité des k voisins les plus proches de
x
 Si nous utilisons 3 voisins, l’observation de
l’exemple précédent sera classé dans B puisque 2/3
voisin appartiennent à B
Technique de classification k-NN
(Comparaison de l’erreur)
Erreurs de classification NN
 La
probabilité d’erreur d’un classificateur NN est
toujours plus grande ou égale à celle d’un classificateur de Bayes
 Le classificateur de Bayes choisit toujours la classe
la plus vraisemblable, ce qui représente le choix
optimale
 Avec un classificateur NN, il peut arriver qu’un voisin d’une classe donnée qui n’est pas la classe la
plus vraisemblable soit le plus proche d’une observation à classifier
Erreurs de classification NN
 La
probabilité de bonne classification des éléments
de la classe Ci, est obtenue par
P(C Ci ) NN   n p(Ci x) p( x Ci )dx
R
P(C Ci ) NN  P(Ci ) 
R
p ( x Ci )
n
p( x)   p(Ci ) p( x Ci )
i
p( x)
2
dx
Erreurs de classification NN
 La
probabilité d’erreur de classification des
éléments de la classe Ci, est obtenue par
P( E Ci ) NN  P(Ci ) 
R
p( x Ci ) p( x Ci )
n
p( x)
P(Ci )   P(C j )  1  P(Ci )
j i
p( x)   p(Ci ) p( x Ci )
i
dx
Erreurs de classification NN
 La
probabilité d’erreur de classification totale, est
obtenue par
c
P( E ) NN   p(Ci ) P( E Ci ) NN
i 1
c
P( E ) NN  1   P(Ci )
i 1
2

R
p( x Ci )
n
p( x)
2
dx
Erreurs de classification NN (Exemple)
 Si
nous avons 2 classes A et B avec P(A) = P(B) =
0.5, et p(x|A) est distribué uniformément entre 0 et 2
alors que p(x|B) est distribué uniformément entre 1
et 5
 Quelle est l’erreur de classification NN ?
 Comment cette erreur se compare-t-elle à l’erreur
Bayesienne
Erreurs de classification NN (Exemple)
 p(x|A),
p(x|B) avec p(x) en pointillée
Erreurs de classification NN (Exemple)
 Calcul
des probabilités d’erreur
P( E A) NN  1  P(C A)
P( E A) NN
2

1

1
1 / 2

1  
dx
0
2  (1 / 2)(1 / 2)  0
2

2
5

1 / 2

dx   0dx 
1 (1 / 2)(1 / 2)  (1 / 2)(1 / 4)
2

1 2 1

1  1   
2 3 6
Erreurs de classification NN (Exemple)
 Calcul
des probabilités d’erreur
2

1 1
1 / 4
 1    0dx  
dx
1 (1 / 2)(1 / 2)  (1 / 2)(1 / 4)
2 0
2

5

1 / 4

dx 
2 0  (1 / 2)(1 / 4)

1

6
2
P( E B) NN
Erreurs de classification NN (Exemple)
 Calcul
de la probabilité d’erreur totale
P( E ) NN
 P( A) P( E A) NN  P( B) P( E B) NN
1 1 1 1

  
2 6 2 6
1

6
Erreurs de classification NN (Exemple)
 Calcul
de la probabilité d’erreur totale Bayesienne
 P( A) P( E A) Bayes  P( B) P( E B) Bayes
1
1 1

0 
2
2 4
1

8
 P( E ) Bayes
P( E ) Bayes
P( E ) NN
Erreurs de classification NN (Exemple)
 Calcul
de la probabilité d’erreur totale Bayesienne
 P( A) P( E A) Bayes  P( B) P( E B) Bayes
1
1 1

0 
2
2 4
1

8
 P( E ) Bayes
P( E ) Bayes
P( E ) NN
Erreurs de classification NN (Borne)
 La
borne d’erreur de P(E)NN
P( E ) NN
c
2
 2 P( E ) Bayes 
P( E ) Bayes
c 1