9. Kolor w rozpoznawaniu twarzy
Download
Report
Transcript 9. Kolor w rozpoznawaniu twarzy
Wykorzystanie koloru
przy rozpoznawaniu twarzy
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Plan wykładu
Przestrzenie kolorów
model YCbCr
Detekcja twarzy i cech
mapa oczu
mapa ust
Wykorzystanie do ekstrakcji cech
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Przestrzenie kolorów
Sposób reprezentacji piksela
kanały
głębokość bitowa
Konwersje
stratne
bezstratne (odtwarzalne)
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Skala szarości
ang. grayscale (gs)
Format wykorzystywany
w rozpoznawaniu twarzy
Jeden kanał
8 bitów -> 256 poziomów szarości
Konwersja z RGB:
Y 0.299 R 0.587 G 0.114 B
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Przestrzenie kolorów
Ludzkie oko
trójwymiarowa przestrzeń kolorów
Stosowane modele
uproszczenie rzeczywistości
3, 4 wymiary
nie pokrywają całego zakresu
światła widzialnego
Diagram kolorów CIE
(International Commision on Illumination)
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Diagram kolorów CIE
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Najpopularniejsze modele
RGB
czerwony, zielony, niebieski
CMYK
morski, karmazynowy, żółty, czarny
HLS, HSV
kolor, oświetlenie, nasycenie
YCbCr
intensywność (GS), niebieski, czerwony
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
RGB
Model addytywny
punkt wyjścia – kolor czarny
Szeroko rozpowszechniony
Często niewygodny:
konieczna identyczna
rozdzielczość kanałów
modyfikacja obrazu wymaga
modyfikacji każdego kanału
ciężki w interpretacji
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
CMYK
Model subtraktywny
punkt wyjścia – kolor biały
Stosowany do drukowania
Odjęcie C, M i Y w praktyce nie
zawsze daje czarny
dodanie składowej K
dodatkowy czarny pojemnik z tuszem
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
RGB i CMYK
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
HSV
Kolor jako kąt
Model zbliżony
do interpretacji
barw przez
człowieka
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
YCbCr
Wykorzystywany w technikach
cyfrowego zapisu video (JPEG, MPEG)
Konwersja z RGB (jeden z wariantów):
Y 0.299 R 0.5587 G 0.114 B
C b - 0.116874 R - 0.33126 G 0.5 B 128
C r 0.5 R - 0.41869 G - 0.08131 B 128
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Wybór modelu
Zdefiniowanie wymagań
Ograniczenia sprzętowe
np. CMYK
Udogodnienia algorytmiczne
np. HLS
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Detekcja twarzy
Oparta o model YCbCr
Wcielenie zasad heurystycznych
Główne etapy:
kompensacja jasności
maska twarzy
stworzenie mapy oczu i ust
wyznaczenie położenia cech
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Kompensacja jasności
Definicja koloru białego
5% najjaśniejszych pikseli (kanał Y)
Rozciągnięcie histogramu w
przestrzeni RGB
piksele „białe” -> (255, 255, 255)
reszta przeskalowana liniowo
Przejście na YCbCr
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Maska twarzy
Cel: znalezienie pikseli należących
do twarzy
Zdefiniowanie koloru twarzy
skóra posiada charakterystyczne własności
Trening na bazie dużej próbki
podprzestrzeń CbCr – błąd nadmiaru
podprzestrzeń Cb/Y – Cr/Y – błąd niedomiaru
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Twarz w YCbCr
Przykłady 1 – 5
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Mapa oczu
Mapa C (barwna):
Cb
1
2
2
EyeMapC (Cb Cr )
3
Cr
Mapa L (jasności):
Dil {Y ( x, y )}
EyeMapL
Er{Y ( x, y )} 1
Mapa końcowa – iloczyn mapy C i L
Dodatkowe progowanie
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Dylatacja i erozja
Element strukturalny
„kotwica”
Dylatacja – rozbudowa obiektów
na obrazie
Erozja – zniszczenie elementów
na obrazie
Przykład 6 i 7
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Mapa ust
Cr 2
MouthMap Cr (Cr )
Cb
2
2
2
avg(Cr )
0.95
Cr
avg( )
Cb
Progowanie
Dylatacja
Erozja
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Położenie cech
oko (P): (15, 24)
oko (L): (49, 24)
usta:
(32, 58)
Środek masy dla każdej mapy
Mapa oczu – środek dla każdej połówki
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Ekstrakcja cech
Lokalizacja cech – informacja
topograficzna (położenie punktów)
metody analizy lokalnej (EBGM, Lokalne
PCA)
maski dla Eigenfaces
Mapa – informacja o dystrybucji cech
na obrazie
maski dla Eigenfaces
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Tworzenie maski
Ogólne zasady:
wzmocnienie okolic oczu i nosa
osłabienie okolic ust
Dwa podejścia:
obraz -> mapy -> punkty -> maska
obraz -> mapy -> maska
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Punkty -> maska
oko (P):(15, 24)
oko (L):(49, 24)
usta: (32, 58)
Wyznaczenie pozycji nosa
średnia ważona pozycji oczu i ust
Maski oczu, nosa i ust sumowane
z różnymi wagami
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Punkty -> maska
Oddziaływanie pojedynczego punktu
W ( x, y ) Wmax e RD ( x , y )
D( x, y ) d x ( x x0 ) 2 d y ( y y0 ) 2
R – promień, Wmax – maksymalna waga
Maska – suma oddziaływań punktów
oczy, nos – wagi dodatnie
usta – waga ujemna
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Mapy -> maska
Wykorzystanie mapy bezpośrednio
do wygenerowania maski
Połączenie dwóch technik
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Przykłady obrazów
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Wpływ na wyniki
Maski poprawiają skuteczność
rozpoznawania
jak na razie nie bardziej
niż maska różnicowa
Kolor niesie istotne informacje
dotyczące charakteru obszaru
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Podsumowanie
Modele barw
Mapy twarzy, oczu i ust
Detekcja
Maska do rozpoznawania
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Dziękuję za uwagę!
Za tydzień: Śledzenie obiektów
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006