Transcript TER : Reconnaissance des émotions

Automatisation de la reconnaissance des
émotions à partir d'expressions faciales
D. Graeff, E. Layan & E. Lopez
La reconnaissance des émotions à partir des expressions faciales:
• Est-ce possible ? - au niveau théorique.
• Peut-on la réaliser ? - moyens techniques.
• Doit-on la réaliser ? - questions éthiques.
D. Graeff, E. Layan & E. Lopez
Est-ce possible ? - au niveau théorique
• Constat :
La machine n’a qu’une partie de l ’information relative aux émotions : les expressions
faciales.
• Problématiques :
Sont-elles fiables? 1 émotion = 1 expression?
 Sont-elles universelles?
 émotions sans expressions et expressions sans émotions.
Les expressions sont-elles universelles ?

Darwin: The Expression of Emotions in Man and Animals (1872)
Les expressions sont issues - notamment - de l’ évolution, elles seraient universelles +
vérification empirique.

les travaux d’ Ekman.
Universalité des 6 émotions de base : joie, surprise/peur, colère, dégoût, tristesse.
Les expressions correspondantes se retrouvent dans toutes les cultures.
Étude menée en Papouasie nouvelle Guinée.
Photos à caractériser (6 émotions de base)
Des biais subsistent :
propriétés des émotions et différences inter-individuelles


Des émotions sans expression faciale spécifique ?

Un seuil déclencheur de l’expression variable pour chaque individu.

Des événements plus ou moins déclencheurs de l’expression.

Une expression pour plusieurs émotions (remord, déception).

Plusieurs expressions pour une émotion ( la gêne).
Les expressions sans émotion, la question des faux.
L'orbicularis oculis marqueur de
l'authenticité de la joie.
A: un sourire stimulé électriquement : « faux sourire ».
B: un sourire spontané :le sourire de Duchenne.
Est-ce possible ? - au niveau théorique.
Conclusion
La reconnaissance des émotions à partir des expressions faciales est justifiée:
il y a universalité des expressions que cela soit le produit de notre physiologie (et
de l’évolution) ou d’une convergence entre cultures.


Si des biais subsistent, leur importance dépend de l’objectif de l’ application.
- Ce n’est pas toujours dans l’intérêt de l’utilisateur de cacher ses émotions.
Et même, il est possible de distinguer les faux pour certaines expressions
(classification, système FACS).
- Un suivi personnalisé est possible.
Peut-on la réaliser ? - moyens techniques.
Reconnaître une émotion à partir d’expressions faciales, c’ est:



Détecter un visage et le suivre
Travailler ce visage : relever les points caractéristiques
- Essai d’algorithme
- Techniques habituelles
Classer les expressions ( soit les variations des points caractéristiques)
- Essai d’algorithme
- Techniques habituelles
Détecter un visage et le suivre

Quelques techniques permettant la détection de visages :
-
Rechercher les composants caractéristiques du visage (yeux, bouche)
-
Utiliser les textures et intensités de couleurs (peau # autres)
-
Méthode Template-matching : comparer avec un gabarit (visage moyen)
Méthode Eigenface : comparer avec image modifiée aprés ACP
(vecteurs propres maximisant les différences inter-visages)

Ce qui se fait actuellement :
Travailler ce visage : relever les points caractéristiques.
Essai d’algorithme
Raisonnement sur les composantes HSV : hue (teinte), saturation et value (luminosité).
Des lèvres avec :
- une teinte rose-rouge (h = 357-2°),
- une saturation moyenne (ni éclatantes, ni pales),
- une luminosité assez importante.
Cône HSV.
Résultat : la bouche est détectée, pas assez
précisément cependant.
Travailler ce visage : relever les points caractéristiques.
Techniques habituelles
Soit on choisit arbitrairement quelques points caractéristiques
Difficulté : extraction des points

Soit on entraîne un système à chercher les points pertinents
Difficulté : l'apprentissage

Classer les expressions:
Essai d’algorithme, Ratios
Prélèvement manuel des points caractéristiques.
Par simplification, les 4 points des extrémités de la bouche transformés en deux
ratios pour représenter :
l'étirement
et l'orientation (vers le bas, vers le haut).
Ce prélèvement se fait sur 200 photos sélectionnées avec soin.
Avec cette information, classer les visages expressifs en 4 émotions : la joie, la
tristesse, la surprise et le dégoût; toutes des émotions de base.
Comment sont définies ces classes?
Classer les expressions:
Essai d’algorithme, Logique floue
Un programme basé sur les principes de la logique floue.

Des classes vagues : différentes intensités dans l’émotion, pas de séparation nette
entre les émotions.

Refus du principe de non-contradiction : « une tristesse heureuse ».

Refus du principe du tiers exclu : émotion neutre.
=> Raisonnement en degrés d’appartenance à une classe.
µ(x) est la fonction d'appartenance de l'émotion.
x est l'élément retenu de la photo : en l'occurence, 2 ratios.
Classer les expressions:
Essai d’algorithme
On cherche à obtenir les meilleures fonctions d'appartenance en 200 photos.
Nos fonctions sont des gaussiennes 3D, on peut agir sur l'écart-type et l'espérance :
- variation de l'espérance : variation du prototype.
- variation de l'écart-type : variation de l'amplitute.
Résultats: des courbes qui englobent les autres, des résultats trop variables selon les
écart-types initiaux.
Amélioration : trouver les paramètres initiaux optimaux.
Classer les expressions:
Essai d’algorithme, Critiques

4 points ne suffisent pas.
absence d’apprentissage:
- des critères d’évolution arbitraires.
- aucun retour sur les conséquences du changement.
- pas de réelle mémorisation des entrées passées et de leur impact.

la fonction de gauss:
- et si on avait été en 4D ou plus?
- elle implique un seul prototype là ou il existe en réalité différents types
d’expressions qui correspondent parfaitement à l’émotion.

Une bonne solution aurait été de faire une approximation polynomiale de notre
fonction d’appartenance:
- plusieurs prototypes sont ainsi permis.
- c’est approximer une fonction donnée au début par l’homme par une notation des
expressions. Il y aurait évaluation d’un écart à la classification souhaitée
(apprentissage et méthode supervisée).

Classer les expressions:
Techniques habituelles

L'approche machine à vecteurs de support (SVM)

L'approche des « k plus proches voisins »
Peut-on la réaliser ? - moyens techniques.
Conclusion

Des techniques de détection et de classification existent.
Le problème est de classer un visage en temps réel avec des performances
correctes.


Le problème tend à être résolu avec les hybrides.
Doit-on la réaliser? –questions éthiques.
Quelles applications à la reconnaissance automatisée des émotions?

Industrie du jeu vidéo.
Surveillance :
- en savoir plus sur l’expression, c’est améliorer l’identification faciale.
- détection des comportements agressifs.

Tutoriaux : adapter questions et remarques en fonction de l’état émotionnel de
l’apprenant.

IHM, robots domestiques.
Jusqu’où doit aller l’automatisation des tâches?
Jusqu’où doit aller la similitude entre homme et robot? L’intelligence émotionnelle, n’estce pas de trop?

Conclusion


La reconnaissance d’expressions faciales se développe quoique l’on pense de ses
applications. Elle est encore imparfaite : qualité et temps du traitement du visage.
Pour notre TER : essayer de construire un algorithme de reconnaissance des
émotions qui englobait la logique floue nous a ouvert à de nouveaux concepts.
Notre algorithme aurait pourtant pu être plus pertinent si nous nous étions basés sur
des techniques déjà existantes et efficaces.

Notre site : clarté (sobriété, code couleur), système de pliage-dépliage, références,
possibilité d’impression, accessibilité, valide XHTML.