Transcript 9. Kolor w rozpoznawaniu twarzy

Wykorzystanie koloru
przy rozpoznawaniu twarzy
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Plan wykładu
Przestrzenie kolorów

model YCbCr
Detekcja twarzy i cech


mapa oczu
mapa ust
Wykorzystanie do ekstrakcji cech
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Przestrzenie kolorów
Sposób reprezentacji piksela


kanały
głębokość bitowa
Konwersje


stratne
bezstratne (odtwarzalne)
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Skala szarości
ang. grayscale (gs)
Format wykorzystywany
w rozpoznawaniu twarzy
Jeden kanał
8 bitów -> 256 poziomów szarości
Konwersja z RGB:
Y  0.299  R  0.587  G  0.114  B
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Przestrzenie kolorów
Ludzkie oko

trójwymiarowa przestrzeń kolorów
Stosowane modele



uproszczenie rzeczywistości
3, 4 wymiary
nie pokrywają całego zakresu
światła widzialnego
Diagram kolorów CIE

(International Commision on Illumination)
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Diagram kolorów CIE
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Najpopularniejsze modele
RGB

czerwony, zielony, niebieski
CMYK

morski, karmazynowy, żółty, czarny
HLS, HSV

kolor, oświetlenie, nasycenie
YCbCr

intensywność (GS), niebieski, czerwony
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
RGB
Model addytywny

punkt wyjścia – kolor czarny
Szeroko rozpowszechniony
Często niewygodny:



konieczna identyczna
rozdzielczość kanałów
modyfikacja obrazu wymaga
modyfikacji każdego kanału
ciężki w interpretacji
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
CMYK
Model subtraktywny

punkt wyjścia – kolor biały
Stosowany do drukowania
Odjęcie C, M i Y w praktyce nie
zawsze daje czarny


dodanie składowej K
dodatkowy czarny pojemnik z tuszem
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
RGB i CMYK
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
HSV
Kolor jako kąt
Model zbliżony
do interpretacji
barw przez
człowieka
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
YCbCr
Wykorzystywany w technikach
cyfrowego zapisu video (JPEG, MPEG)
Konwersja z RGB (jeden z wariantów):
Y  0.299  R  0.5587  G  0.114  B
C b  - 0.116874  R - 0.33126  G  0.5  B  128
C r  0.5  R - 0.41869  G - 0.08131 B  128
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Wybór modelu
Zdefiniowanie wymagań
Ograniczenia sprzętowe

np. CMYK
Udogodnienia algorytmiczne

np. HLS
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Detekcja twarzy
Oparta o model YCbCr
Wcielenie zasad heurystycznych
Główne etapy:




kompensacja jasności
maska twarzy
stworzenie mapy oczu i ust
wyznaczenie położenia cech
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Kompensacja jasności
Definicja koloru białego

5% najjaśniejszych pikseli (kanał Y)
Rozciągnięcie histogramu w
przestrzeni RGB


piksele „białe” -> (255, 255, 255)
reszta przeskalowana liniowo
Przejście na YCbCr
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Maska twarzy
Cel: znalezienie pikseli należących
do twarzy
Zdefiniowanie koloru twarzy

skóra posiada charakterystyczne własności
Trening na bazie dużej próbki


podprzestrzeń CbCr – błąd nadmiaru
podprzestrzeń Cb/Y – Cr/Y – błąd niedomiaru
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Twarz w YCbCr
Przykłady 1 – 5
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Mapa oczu
Mapa C (barwna):
Cb
1
2
2
EyeMapC  (Cb  Cr  )
3
Cr
Mapa L (jasności):
Dil {Y ( x, y )}
EyeMapL 
Er{Y ( x, y )}  1
Mapa końcowa – iloczyn mapy C i L
Dodatkowe progowanie
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Dylatacja i erozja
Element strukturalny

„kotwica”
Dylatacja – rozbudowa obiektów
na obrazie
Erozja – zniszczenie elementów
na obrazie
Przykład 6 i 7
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Mapa ust
Cr 2
MouthMap  Cr  (Cr    )
Cb
2
2
2
avg(Cr )
  0.95 
Cr
avg( )
Cb
Progowanie
Dylatacja
Erozja
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Położenie cech
oko (P): (15, 24)
oko (L): (49, 24)
usta:
(32, 58)
Środek masy dla każdej mapy
Mapa oczu – środek dla każdej połówki
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Ekstrakcja cech
Lokalizacja cech – informacja
topograficzna (położenie punktów)


metody analizy lokalnej (EBGM, Lokalne
PCA)
maski dla Eigenfaces
Mapa – informacja o dystrybucji cech
na obrazie

maski dla Eigenfaces
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Tworzenie maski
Ogólne zasady:


wzmocnienie okolic oczu i nosa
osłabienie okolic ust
Dwa podejścia:


obraz -> mapy -> punkty -> maska
obraz -> mapy -> maska
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Punkty -> maska
oko (P):(15, 24)
oko (L):(49, 24)
usta: (32, 58)
Wyznaczenie pozycji nosa

średnia ważona pozycji oczu i ust
Maski oczu, nosa i ust sumowane
z różnymi wagami
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Punkty -> maska
Oddziaływanie pojedynczego punktu
W ( x, y )  Wmax  e  RD ( x , y )
D( x, y )  d x  ( x  x0 ) 2  d y  ( y  y0 ) 2

R – promień, Wmax – maksymalna waga
Maska – suma oddziaływań punktów


oczy, nos – wagi dodatnie
usta – waga ujemna
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Mapy -> maska
Wykorzystanie mapy bezpośrednio
do wygenerowania maski
Połączenie dwóch technik
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Przykłady obrazów
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Wpływ na wyniki
Maski poprawiają skuteczność
rozpoznawania

jak na razie nie bardziej
niż maska różnicowa
Kolor niesie istotne informacje
dotyczące charakteru obszaru
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Podsumowanie
Modele barw
Mapy twarzy, oczu i ust
Detekcja
Maska do rozpoznawania
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Dziękuję za uwagę!
Za tydzień: Śledzenie obiektów
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006