Detekcja twarzy

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Sprawy organizacyjne

Laboratorium    czwartek 10:00 – 13:00 03.11.

czwartek 12:15 – 15:15 27.10.

pierwsze terminy: 27.10.; 03.11.

Projekty  omówienie dzisiaj zamiast laboratorium Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Plan wykładu

Cele detekcji Dostępne metody Etapy detekcji Uogólniona Transformata Hougha Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Etapy rozpoznawania

Detekcja Normalizacja Porównywanie wektorów cech Ekstrakcja cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Cele detekcji

Znalezienie twarzy na obrazie      niezależnie od rozmiaru obrazu niezależnie od wielkości twarzy dla obrazów RGB i GS szybkie i skuteczne niezależnie od kąta obrotu twarzy Przekazanie położenia twarzy do etapu normalizacji Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Specyfikacja zadania

Położenie twarzy – termin niejednoznaczny, mało konkretny Położenie oczu – określenie bardziej precyzyjne Detekcja twarzy = detekcja cech charakterystycznych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Czas wykonania

Detekcja wykonywana dla każdej klatki Poszukiwanie na całym obrazie Algorytmy muszą być bardzo szybkie Podział na etapy Wybór odpowiednich algorytmów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Możliwe metody

Porównywanie fragmentów obrazu  SVM, sieć neuronowa Poszukiwanie elips   minimalizacja różnic Uogólniona Transformata Hougha Metody falkowe – detekcja kształtów Detekcja na podstawie koloru Wykorzystanie informacji dynamicznych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Wybór metod

Szybka selekcja – detekcja elips  Transformata Hougha Weryfikacja potencjalnych kandydatów   SVM PCA – projekcja wsteczna Detekcja cech na obrazie twarzy  Gabor Wavelets Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Detekcja elips pionowych

Elipsy „zorientowane pionowo”    znalezienie potencjalnych twarzy niski próg akceptacji duża liczba nie-twarzy Wstępne filtrowanie   filtry rozjaśniające filtr Gaussa – eliminacja szumu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Detekcja elips poziomych

Cel: znalezienie kandydatów na oczodoły Obszar poszukiwań zawężony do wnętrza elips zorientowanych pionowo Niski próg akceptacji Duża liczba fałszywych przypadków Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Detekcja oczu

„Podejrzane” elipsy poziome Weryfikacja poprzez SVM Detekcja źrenic   warunek – wysoka jakość obrazu lokalizacja przybliżona Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Weryfikacja

Zastosowanie reguł logicznych do wstępnej eliminacji Przygotowanie obrazów do weryfikacji  wstępna normalizacja (przykłady) Zastosowanie klasyfikatora (np. SVM) Próg akceptacji Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Detekcja pozostałych cech

Wykorzystanie mechanizmu Gabor Wavelets   przyblizone położenie na podstawie oczu znajdowane przesunięcia Etap dodatkowy, przydatny do niektórych metod Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Detekcja elips

Uogólniona Transformata Hougha (Generalized Hough Transform – GHT) Tworzenie obrazu kierunkowego  zbiór odcinków Znalezienie możliwych środków elips dla każdego odcinka Podsumowanie wyników  wskazanie najbardziej prawdopodobnych środków elips Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Obraz kierunkowy

Podział obrazu na grupy pikseli (np. 2x2) Możliwe wykorzystanie gradientów Krawędź dla każdej grupy:   kierunek natężenie Kierunek – dopasowanie płaszczyzny metodą minimalizacji błędu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Wynik

Obraz -> zbiór odcinków Odcinek:    środek (x, y) kierunek  natężenie  Progowanie względem natężenia Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Wykorzystanie GHT

Poszukiwanie obiektów o zadanym kształcie na obrazie kierunkowym Przypadek elipsy:   a, b – długości półosi elipsy  r ,  e

a

min

b

min – współczynniki redukcji i ekspansji    

r r



a



b a

max

b

max    

r e



a



b

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Jak to działa?

Założenie:  każdy odcinek może być fragmentem elipsy Odcinek:  dwa potencjalne środki elipsy Dopuszczenie tolerancji:   dwa zbiory punktów (potencjalnych środków elipsy) do punktów przypisane wagi Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Sumowanie

Akumulator:     macierz wielkości obrazu, wyzerowana na początku modyfikowany przez wszystkie odcinki natężenie odcinka – dwa podejścia wartość pola wprost proporcjonalna do prawdopodobieństwa, że znajduje się tam środek elipsy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przykład

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Problemy i ich rozwiązania

Obliczanie środków dla każdego odcinka (bardzo czasochłonne)  przygotowanie szablonów (dyskretyzacja kierunku) Czas obliczeń zależny od rozmiarów obrazu Stały rozmiar elipsy  „piramidka” – skalowanie obrazu wejściowego Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Jeszcze parę słów o GHT...

Duża szybkość działania Metoda łatwa do kontroli   metoda tworzenia obrazu kierunkowego sterowanie tolerancją kąta i rozmiaru Możliwa detekcja dowolnych kształtów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Podsumowanie

Detekcja – kilka etapów Znaczenie szybkości Podstawa – detekcja elips  Uogólniona Transformata Hougha Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Dziękuję za uwagę!

Za 2 tygodnie: Normalizacja obrazu twarzy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006