Transcript EXTRACTION D'UN MODÈLE 3D DE VISAGE Marc CHAUMONT

EXTRACTION D'UN MODÈLE 3D DE VISAGE
EN TEMPS-RÉEL ET DE MANIÈRE ROBUSTE
Marc CHAUMONT
[email protected]
LIRMM, UMR CNRS 5506, Université de Montpellier II
OBJECTIF :
Extraction d’un modèle 3D de visage et de sa position 3D à partir d’un faible nombre de couples de points 2D-3D en correspondance.
PRINCIPE :
Approximation puis raffinement d’un modèle 3D générique et de sa position 3D
PRÉAMBULE
FORMULATION DU PROBLEME :
E
Modèle 3D « candide3 »
[Ahlberg2001] (168 facettes)
avec :
: l’ensemble des points 2D placés manuellement
: l’ensemble des points 3D déplacés puis projetés
T, , 
?
T 3x4 : projection perspective sténopé
Si  : déplacement de formes ( : vecteur intensité des unités de formes)
Ai  : déplacement d’animations ( : vecteur intensité des unités d’animations)
APPROCHE PROPOSÉE
2- Approximation de forme et d’animation*
1- Approximation de la pose
Simplification de T3x4 en T2x4 ( et  sont positionnés à 0) :
Réécriture de E (T2x4 connu,  positionné à 0) :
Annulation des dérivées partielles de E,
résolution des 2 systèmes linéaires :
Annulation de
et résolution du système linéaire :
* même principe pour le calcul de 
3- Raffinement
et
)
Calcul des paramètres extrinsèques (
par l’algorithme POSIT [DeMenthon1995] (paramètres intrinsèques fixés)
Optionnel : déplacements des coordonnées (Xi , Yi) des points
du modèle 3D (Zi étant fixe) pour obtenir des erreurs nulles
RÉSULTATS & CONCLUSION
RÉSULTATS :
QUELQUES UTILISATIONS POSSIBLES :
Initialisation d’un modèle 3D
pour le suivi de visage par modèle 3D
maillage
T,α?
texture
image I
domaine
texture
Régularisation d’une segmentation
labiale basée « snakes » :
zone de « décrochage » du « snake »
zone « corrigée » par le modèle 3D
Points 2D utilisés
Maillage avec T2x4
Maillage avec T3x4
modèle 3D
Initialisation
Synthèse et
réalité augmentée
Erreurs moyennes de mise en correspondance avec la projection
perspective faible (T2x4) et la projection sténopée (T3x4)
temps d’exécution : 1.6ms, Pentium 2.4Ghz, langage C++
Suivi
Analyse d’expression faciale,
Reconnaissance de visage,
...
CONCLUSION :
Solution temps-réel et robuste d’extraction d’un modèle 3D de visage et de sa pose 3D
Pertinent comme initialisation grossière pour un grand nombre d’application