Śledzenie

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Plan wykładu

Zastosowanie śledzenia Przegląd dostępnych metod Przepływ optyczny Eliminacja błędów filtrem Kalmana Wybór punktów Algorytmy wężykowe Podsumowanie Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Zastosowanie śledzenia

Monitorowanie dużych obiektów Określanie właściciela przedmiotu Zastosowania marketingowe Polepszenie klucza opisującego twarz Wykrywanie sytuacji nietypowych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przegląd metod

Optical Flow – przepływ optyczny Algorytm ConDensation Metoda Distributed Monte Carlo Wykorzystanie fal Gabora Wykorzystanie koloru Śledzenie twarzy w filmach w skali szarości Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przepływ optyczny

Przepływ optyczny – widoczny ruch jasności w obrazie.

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przepływ optyczny

    Założenia: Płaska powierzchnia obiektu, Jednorodne oświetlenie padające na obiekt, Jasność punktu proporcjonalna do światła odbitego od powierzchni całego obiektu, Ciągła zmiana światła odbitego.

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

t 1

Przepływ optyczny

x y y + dy x + dx t 1 +dt t Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przepływ optyczny

Jeżeli I(x,y,t) opisuje jasność należy dodatkowo założyć:   I(x,y,t) zależy od współrzędnych x, y w większej części obrazu Jasność każdego punktu w poruszającym się obiekcie nie zmienia się w czasie Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przepływ optyczny

Przesuwamy wzorzec – jasność punktów pozostaje stała stąd:

dI

 0

dt

Wykorzystując szereg Taylora: 

I



x dx dt

 

I



y dy dt

 

I



t

 0 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przepływ optyczny

Jeżeli podstawimy:

u



dx dt v



dy dt

Otrzymamy równanie liniowe z dwoma niewiadomymi – równanie przepływu optycznego

I x u



I y v



I t

 0 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

v

Przepływ optyczny

Linia ograniczeń (

I x

,

I y

)

u

Prędkość leży na linii prostopadłej do grad. jasności w obrazie Odległość linii jest równa

I x

2

I t



I y

2 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przepływ optyczny

 Różne podejścia Łączenie przylegających pikseli w grupy przy założeniu, że mają jednakową prędkość (Lucas & Kanade)   Obliczenia z wykorzystaniem pochodnych wyższego rzędu (Horn & Schunck) Łączenie bloków (Block Matching) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przykład

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Filtr Kalman’a

Przykład estymatora Bayes’a Eliminacja błędów śledzenia Etapy działania Przewidywanie Uaktualnianie Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Filtr Kalman’a

Filtr estymuje kolejny stan systemu x rozwiązując dyskretne równanie różnicowe

x k

 1 

Ax k



w k

Równanie miary systemu

z k



Hx k



v k

Pierwotny stan systemu

x

0

P

0

e

0  0 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Filtr Kalman’a

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Filtr Kalman’a

Stan systemu

x

 [

x y z x

'

y

'

z

' 1 ]

T

Macierz przejścia między stanami i zależności między 0 0 

t

0 

t

0 0 stanem a miarami

H t

   1 0 0 1 0 0 0 0 0 0 0 0 0 0  

A t

           1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0  0 0 0 0 0   0 0 0 0   0  0 0 0

t

  0 0 0

g



t

0 1           Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Filtr Kalman’a

Błąd a priori i a posteriori

e k



x k



X k e k



x k



X k

Macierze kowariancji błędu a priori i a posteriori

P k



E

[

e k e k



T

]

P k



E

[

e k e k T

] Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Filtr Kalman’a

Przewidywanie stanu systemu w przód

P k

 1

X k

 1  

A k X k A k P k A k T



Q k

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Filtr Kalman’a

Uaktualnianie – dodanie obliczonych miar w celu polepszenia estymacji

X k K k



P k



X k



H k P k P k H H k T k T

  (

I K



k K

(

z k



H k k H k

)

R P k k X k

) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Filtr Kalman’a

z + v t K t + + x t H t x t-1 A t delay Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Wybór punktów

  Punkty o dużym gradiencie Kontury Punkty o wysokim lokalnym gradiencie a znajdujące się na obiekcie Punkty, które nie są przysłaniane Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Wybór punktów

Twarz Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Wybór punktów

Obiekt Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Wężyki – aktywne kontury

Detekcja krawędzi Śledzenie Do teraz – tylko informacja z obrazu Nowość – dodatkowa informacja Rozwiązanie dla lokalnych minimów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Wężyki – aktywne kontury

Wężyk – zbiór uszeregowanych punktów v(s) opisujących kontur, na który oddziałują różne siły dążący do zminimalizowania swojej energii.

E

 0  1 

E wew

(

v

(

s

)) 

E obr

(

v

(

s

)) 

E zew

(

v

(

s

)) 

ds

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Wężyki – aktywne kontury

  Siły Wewnętrzne  Zachowanie ciągłości oraz gładkości Zewnętrzne  Zależą od informacji zawartej w obrazie  Wymuszane przez użytkownika Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Wężyki – aktywne kontury

Energia wewnętrzna

E wew

  (

s

) |

v

' (

s

) | 2   (

s

) |

v

' ' (

s

) | 2 2 dąży do wyrównania odległości między punktami zapewnia spójność Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Wężyki – aktywne kontury

Energia zewnętrzna – energia obrazu

E obr



w l E l



w k E k



w p E p

Linie

E l



I

(

x

,

y

) Krawędzie Przestrzeń

E k

  | 

I

(

x

,

y

) | 2

E p

  (

G

 * 

I

(

x

,

y

)) 2 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Wężyki – śledzenie

Przykład Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Podsumowanie

Zastosowanie algorytmów śledzenia w wielu dziedzinach Stosowanie wielu specjalizowanych algorytmów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Dziękuje

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006