Transcript 10. Śledzenie
Śledzenie
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Plan wykładu
Zastosowanie śledzenia Przegląd dostępnych metod Przepływ optyczny Eliminacja błędów filtrem Kalmana Wybór punktów Algorytmy wężykowe Podsumowanie Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Zastosowanie śledzenia
Monitorowanie dużych obiektów Określanie właściciela przedmiotu Zastosowania marketingowe Polepszenie klucza opisującego twarz Wykrywanie sytuacji nietypowych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przegląd metod
Optical Flow – przepływ optyczny Algorytm ConDensation Metoda Distributed Monte Carlo Wykorzystanie fal Gabora Wykorzystanie koloru Śledzenie twarzy w filmach w skali szarości Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przepływ optyczny
Przepływ optyczny – widoczny ruch jasności w obrazie.
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przepływ optyczny
Założenia: Płaska powierzchnia obiektu, Jednorodne oświetlenie padające na obiekt, Jasność punktu proporcjonalna do światła odbitego od powierzchni całego obiektu, Ciągła zmiana światła odbitego.
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
t 1
Przepływ optyczny
x y y + dy x + dx t 1 +dt t Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przepływ optyczny
Jeżeli I(x,y,t) opisuje jasność należy dodatkowo założyć: I(x,y,t) zależy od współrzędnych x, y w większej części obrazu Jasność każdego punktu w poruszającym się obiekcie nie zmienia się w czasie Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przepływ optyczny
Przesuwamy wzorzec – jasność punktów pozostaje stała stąd:
dI
0
dt
Wykorzystując szereg Taylora:
I
x dx dt
I
y dy dt
I
t
0 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przepływ optyczny
Jeżeli podstawimy:
u
dx dt v
dy dt
Otrzymamy równanie liniowe z dwoma niewiadomymi – równanie przepływu optycznego
I x u
I y v
I t
0 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
v
Przepływ optyczny
Linia ograniczeń (
I x
,
I y
)
u
Prędkość leży na linii prostopadłej do grad. jasności w obrazie Odległość linii jest równa
I x
2
I t
I y
2 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przepływ optyczny
Różne podejścia Łączenie przylegających pikseli w grupy przy założeniu, że mają jednakową prędkość (Lucas & Kanade) Obliczenia z wykorzystaniem pochodnych wyższego rzędu (Horn & Schunck) Łączenie bloków (Block Matching) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Filtr Kalman’a
Przykład estymatora Bayes’a Eliminacja błędów śledzenia Etapy działania Przewidywanie Uaktualnianie Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Filtr Kalman’a
Filtr estymuje kolejny stan systemu x rozwiązując dyskretne równanie różnicowe
x k
1
Ax k
w k
Równanie miary systemu
z k
Hx k
v k
Pierwotny stan systemu
x
0
P
0
e
0 0 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Filtr Kalman’a
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Filtr Kalman’a
Stan systemu
x
[
x y z x
'
y
'
z
' 1 ]
T
Macierz przejścia między stanami i zależności między 0 0
t
0
t
0 0 stanem a miarami
H t
1 0 0 1 0 0 0 0 0 0 0 0 0 0
A t
1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
t
0 0 0
g
t
0 1 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Filtr Kalman’a
Błąd a priori i a posteriori
e k
x k
X k e k
x k
X k
Macierze kowariancji błędu a priori i a posteriori
P k
E
[
e k e k
T
]
P k
E
[
e k e k T
] Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Filtr Kalman’a
Przewidywanie stanu systemu w przód
P k
1
X k
1
A k X k A k P k A k T
Q k
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Filtr Kalman’a
Uaktualnianie – dodanie obliczonych miar w celu polepszenia estymacji
X k K k
P k
X k
H k P k P k H H k T k T
(
I K
k K
(
z k
H k k H k
)
R P k k X k
) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Filtr Kalman’a
z + v t K t + + x t H t x t-1 A t delay Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wybór punktów
Punkty o dużym gradiencie Kontury Punkty o wysokim lokalnym gradiencie a znajdujące się na obiekcie Punkty, które nie są przysłaniane Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wybór punktów
Twarz Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wybór punktów
Obiekt Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wężyki – aktywne kontury
Detekcja krawędzi Śledzenie Do teraz – tylko informacja z obrazu Nowość – dodatkowa informacja Rozwiązanie dla lokalnych minimów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wężyki – aktywne kontury
Wężyk – zbiór uszeregowanych punktów v(s) opisujących kontur, na który oddziałują różne siły dążący do zminimalizowania swojej energii.
E
0 1
E wew
(
v
(
s
))
E obr
(
v
(
s
))
E zew
(
v
(
s
))
ds
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wężyki – aktywne kontury
Siły Wewnętrzne Zachowanie ciągłości oraz gładkości Zewnętrzne Zależą od informacji zawartej w obrazie Wymuszane przez użytkownika Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wężyki – aktywne kontury
Energia wewnętrzna
E wew
(
s
) |
v
' (
s
) | 2 (
s
) |
v
' ' (
s
) | 2 2 dąży do wyrównania odległości między punktami zapewnia spójność Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wężyki – aktywne kontury
Energia zewnętrzna – energia obrazu
E obr
w l E l
w k E k
w p E p
Linie
E l
I
(
x
,
y
) Krawędzie Przestrzeń
E k
|
I
(
x
,
y
) | 2
E p
(
G
*
I
(
x
,
y
)) 2 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wężyki – śledzenie
Przykład Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Podsumowanie
Zastosowanie algorytmów śledzenia w wielu dziedzinach Stosowanie wielu specjalizowanych algorytmów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Dziękuje
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006