Monoculare Verfolgung eines dreidimensionalen Gesichtsmodells

Abschlussvortrag Systementwicklungsprojekt

Christian Schmidts Chair for Image Understanding Computer Science Technische Universität München [email protected]

Wozu ist die Monoculare Verfolgung eines dreidimensionalen Gesichtsmodells gut?

 Andere Algorithmen benutzen oft 2 Kameras  Mit diesem SEP wird ein Algorithmus zur

realtiven

3D-Verfolgung mittels einer

einzelnen

Kamera vorgestellt   Das Verfahren soll echtzeitfähig sein Ergebnis: Framerate >= 10 FPS Technische Universit ät München Christian Schmidts 1.9.06 2/9

Grundlagen

  Es existiert bereits ein Framework, dass das 2D-Tracking übernimmt und 2D-Koordinaten von Punkten im Gesicht liefert Aus diesem Framework können in begrenztem Umfang auch biometrische Daten ermittelt werden  Es existieren also von Frame zu Frame zwei Punktewolken P und P‘ die durch eine bijektive Abbildung miteinander verknüpft sind Technische Universit ät München Christian Schmidts 1.9.06 3/9

 

Grundlagen

Diese bijektiven Abbildung stellt hier zwei Arten von Transformationen dar  1. eine 2D-Transformation jedes Punktes im einzelnen  2. eine 3D-Transformation Es wird also die Punktewolke P‘ in P dadurch überführt, dass diese einer Transformation im Dreidimensionalen unterliegt  Interessant ist hier die 3D Transformation  Die 3D-Transformation setzt sich aus Translation und Rotation zusammen    

X Y i Z i i

     R     

X Y i



Z i



i

     

T

 Um die 2D Punkte zu erhalten unterliegen die 3D-Punkte einer Projektion – hier die Zentralprojektion

x i f



X i Z i y i f



Y i Z i

Technische Universit ät München Christian Schmidts 1.9.06 4/9

Aufgabenstellung

   Doch was sind die Parameter der Transformationen?

Problem: Direkte Auflösung nicht möglich Lösung: Optimierungsalgorithmus hier Gradientenabstiegsverfahren   D.h. Minimierung der Differenz der Distanzen aus P und P‘, hier gemessen an (x1-x2)²+(y1-y2)² Dabei unterliegt P‘ sowohl Rotation, Translation als auch Projektion Technische Universit ät München Christian Schmidts 1.9.06 5/9

Implementierung

    Das Tracking des Gesichtes geschieht mittels einer 3D-Maske, die auf dieses gelegt wird Die Maske besteht aus einem Gitternetz in Form einer gestreckten Halbkugel an dessen Knotenpunkten die Trackingpunkte liegen Die Maske wird mit Hilfe der biometrischen Daten aus dem Framework dimensioniert und Positioniert Die Abstände zwischen den Augen und den Augen und dem Mund dienen hier als Grundlage Technische Universit ät München Christian Schmidts 1.9.06 6/9



Implementierung

Nun wird die Berechnung der 3D-Transformationen von Bild zu Bild durchgeführt  Das geschieht mittels iterativer Optimierung der dazu notwendigen Parameter  Dazu gibt es mehre Möglichkeiten:  Gleichzeitig Optimierung der Rotation und Translation   Getrennte Optimierung der Rotation und Translation Verschiedene Anordnungen dieser (Verschränkung, Hintereinanderschalten etc.)  Danach folgt die Anwendung der Transformation mit den berechneten Parametern  In der Praxis hat sich mit Berücksichtigung der Rechenzeit folgender Algorithmus bewährt  Durchführung der Iteration zur Optimierung der Translation in 40 Iterationen  Durchführung der Iteration zur Optimierung der Rotation in 40 Schritten  Abbruch bei ausreichend kleinem Fehler Technische Universit ät München Christian Schmidts 1.9.06 7/9

Zusammenfassung + Ausblick

     Möglichkeiten zur Verbesserung sind:  Verwendung eines besseren Optimierungsverfahrens, z.B. CG-Verfahren Kalibrierung der Kamera Verwendung einer Ground Truth die unmögliche Positionen ausschließt Verwendung einer ergonomischeren Maske Verwendung einer flexiblen Maske Automatische Reinitialisierung bei zu schlechten Ergebnissen Technische Universit ät München Christian Schmidts 1.9.06 8/9

Vielen Dank für die Aufmerksamkeit!

Technische Universit ät München Christian Schmidts 1.9.06 9/9