Transcript Reconnaissance faciale des émotions

Reconnaissance faciale
des émotions
David Frenay
Promoteur : Benoît Macq
Lecteurs :
Xavier Marichal (Alterface)
Christian Van Brussel
La technologie
se rapproche du réel
Voix artificielle
La voix : reconnaissance et
production
La technologie
se rapproche du réel
Voix artificielle
Reconnaissance
faciale
Reconnaissance faciale
La technologie
se rapproche du réel
Voix artificielle
Reconnaissance
faciale
3D
3D : cinéma et
avatars virtuels
Avenir :
la reconnaissance d’émotions
Large panel
d’applications
Objectifs de cette présentation
Contraintes
Solutions
Démonstration
Contraintes
de mon logiciel
Temps réel
Environnement
non-contrôlé
Logiciel
explicite
•Algorithme rapide – 8 fps
•Aspect dynamique de l’émotion
•C++
•Au final : interactivité
•Image de basse qualité (webcam)
•Illumination à corriger
•Orientation faciale
•Détection d’une émotion, et non
description du visage
Expressions faciales et émotions
Musclebased :
« Actions
Units »
• Au total 44 AUs :
• Sourcils
• Bouche
• Pommettes
•…
Classification
des émotions
6 émotions
universelles
• Joie
• Tristesse
• Surprise
• Peur
• Colère
• Dégoût
Actions Units (AU)
Joie
Surprise
Peur
AU1
AU2
AU4
AU5
AU6
AU7
AU9
AU10
AU16
AU17
AU20
AU22
AU23
AU24
AU25
AU26
AU11
AU27
AU12
AU15
AU54
AU64
Six émotions universelles
Méthodes et algorithmes
Algorithme général
Acquisition
Analyse du visage
Emotion classification
Emotion recognition
Algorithme général
Acquisition
Face detection
Correction de
l’illumination
Normalisation
géométrique
Analyse du visage
Emotion classification
Emotion recognition
Algorithme général
Acquisition
Analyse du visage
Face detection
Aspect dynamique
Correction de
l’illumination
LBP et LBP-TOP
Normalisation
géométrique
Emotion classification
Emotion recognition
Algorithme général
Acquisition
Analyse du visage
Emotion classification
Face detection
Aspect dynamique
1 à 6 émotions
Correction de
l’illumination
LBP et LBP-TOP
Avec ou sans
neutre
Normalisation
géométrique
Emotions statiques
ou dynamiques
Emotion recognition
Algorithme général
Acquisition
Analyse du visage
Emotion classification
Emotion recognition
Face detection
Aspect dynamique
1 à 6 émotions
Apprentissage par
SVM
Correction de
l’illumination
LBP et LBP-TOP
Avec ou sans
neutre
Normalisation
géométrique
Emotions statiques
ou dynamiques
Correction des ombres
Normalisation
gamma
Filtre gaussien
Egalisation
Double le taux de reconnaissance !
Correction de l’orientation
Détection des yeux :
solution inefficace
Locally binary patterns
(LBP)
Image
Matrice
de
nombres
Matrice
LBP
34 27 20
10100110
10101101
10101111
15 18 19
00100101
11110001
10101111
11010101
10001000
11111100
3
12 18
Locally binary patterns
(LBP)
Filtre
LBP
Image
Texture
34 27 20
34 27 20
1
15 18 19
15 18 19
0
3
12 18
3
12 18
Rayon :
Points :
1
8
0
1
1
1
0
Nombre
binaire
1
11110001
LBP et texture
11111001
00001110
11100001
11111111
Courbe
Coin
Arrête
Zone
pleine
LBP : nombres uniformes
3 blocs de chiffres ou moins = nombre uniforme
Nombre
Uniforme
1010000
Non
1001011
Non
1110000
Oui
1110011
Oui
1111111
Oui
2n valeurs
~ n 2valeurs
Entre 70 et 90% des pixels d’un visage sont uniformes !
LBP : histogrammes
Image
LBP
Quadrillage
Sousmatrice
binaire
Matrice
binaire
LBP : histogrammes
Sousmatrice
binaire
Comptage
Nombre
binaire
Combien de
répétitions
000000
10
000001
3
000010
0
…
..
111111
5
Non-uniformes : 142
Histogramme
LBP
Image
LBP
Quadrillage
Histogramme
par carré
Concaténation
Réduction du nombre de données :
( Nb _ Pixels)
~ 100n 2
…
LBP dynamiques : LBP-TOP
Image 5
Quadrillage
LBP dynamiques : LBP-TOP
XY
LBP
LBP
LBP
XY
XT
YT
XT
Histo
Histo
Histo
XY
XT
YT
Y
T
texture + dynamique
Apprentissage
et bases de données
Base de données de
Cohn-Kanade
Apprentissage
et bases de données
Base de données de
Cohn-Kanade
Création d’une
nouvelle database
Apprentissage
et bases de données
Base de données de
Cohn-Kanade
Création d’une
nouvelle database
Apprentissage par SVM
(Support Vector Machine)
Résultats
Résultats théoriques
de mon logiciel
Neutre
Joie
Tristesse
Surprise Colère
Peur
Dégoût
Neutre
93
1.6
1
1.7
0.3
0.7
1.6
Joie
6.2
93.6 0
0.1
0
0.1
0
Tristesse
11
1.6
82.8
1.2
0
0.5
3
Surprise
9.5
1.1
0.2
88.1
0.9
0
0.1
Colère
3.8
0
0
0
93.9
0
2.4
Peur
15
0.3
2.3
0.2
0
82.2
0
Dégoût
9.8
0
3.3
1.6
0.29
0.14
84.8
Au top de la littérature
Résultats pratiques :
Expérience de la webcam
Taux :
Joie
Tristesse Surprise
Colère
Peur
Dégoût
100%
100%
30%
70%
0%
70%
Efficace en réalité
Résultats pratiques :
Expérience de la webcam
Résultats pratiques :
Expérience de la webcam
Résultats pratiques :
Expérience de la webcam
Conclusions et perspectives
Efficace
Réaliste
Applicable facilement
Multimodalité
Eventail plus large d’émotions
Orientations variables