Transcript 7. Ulepszenia metody Eigenfaces

Ulepszenia metody Eigenfaces
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Plan wykładu
Eigenfaces – główne wady
Wykorzystanie topografii twarzy
Linear Discriminant Analysis

Fisherfaces
Bayesian Matching
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Główne wady Eigenfaces
Brak rozróżnienia pomiędzy cechami
intra- i ekstra-personalnymi


„Większość różnic pomiędzy obrazami twarzy
jest spowodowana zmiennymi warunkami
oświetleniowymi” (Y.Moses, 1994)
różnice mimiki
Twarz traktowana jako wektor

utrata informacji 2D
Podejście holistyczne

twarz jako niepodzielna całość
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Topografia twarzy
Cechy intra- i ekstra-personalne


oczy i nos
usta i policzki
Charakter cech, a ich lokalizacja
Maska – modyfikacja ekstrakcji cech
wi  ui  x
N
wi   uij  x j  M j
j 1
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Maska „T”
Sztuczna maska na nos i oczy
Wartości 0 i 1
Poprawa wyników:


FeretA: 813 -> 834 (3,6%)
wyniki dla „czystego” EF
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Maska różnicowa
Zbiory par obrazów:


intra-personalne
extra-personalne
Uśrednienie różnic obydwu klas par:


średnia różnica intra-personalna
średnia różnica extra-personalna
Maska – różnica średniej różnicy
ekstra-personalnej i intra-personalnej
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Maska dynamiczna
Tworzona osobno dla każdego obrazu
Wykorzystanie projekcji wstecznej:


projekcja pojedynczych pikseli
wartość maski odwrotnie proporcjonalna
do błędu projekcji
Zmniejszenie wpływu obszarów
zasłoniętych
Można stosować dla grup pikseli
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Przykłady...
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Wagi wektorów własnych
Nie zawsze związana z lokalizacją

np. oświetlenie
„Rzut oka” na twarze własne

niosą różne rodzaje informacji (kierunki)
Wektor własny, element wektora cech,
funkcja porównująca
N
Modyfikacja: wi  Wi  uij  x j  M j
j 1
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Problem rozpoznawania
Definicja problemu rozpoznawania:



C klas i C wektorów bazowych
NC wektorów w każdej klasie
klasyfikacja wszystkich wektorów
Punkt wyjścia – porównanie dwóch
wektorów cech
Klasa własna i obca
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Błąd rozpoznania 1
Błąd pojedynczego porównania:
P(u ij , u k1 ) 




S (u ij , u i1 )
S (u ij , u k1 )
uij – rozpoznawany wektor
ui1 – wektor bazowy klasy własnej
uk1 – wektor bazowy klasy obcej
S – funkcja porównująca (norma L2)
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Błąd rozpoznania 2
Błąd rozpoznania pojedynczego
C
wektora:
Dij   P(uij, uk 1)
k 1
k i
Błąd dla całej próbki:
C
Ni
C
D   P(uij, uk 1)
i 1 j  2 k 1
k i
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Funkcja błędu
Błąd jest funkcją maski i wag

funkcja wymierna
Minimalizacja funkcji

znalezienie optymalnej maski i wag
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Problem dostosowania
Silne dostosowanie do próbki


znaczne polepszenie
dla zbioru treningowego
pogorszenie dla reszty
Rozwiązanie:

optymalizacja częściowa
Dostosowanie do osób, nie obrazów

możliwe usprawnienie klasyfikacji
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Lokalne PCA
Detekcja cech charakterystycznych

oczy, usta, nos
Rozpoznawanie po cechach



fragment obrazu twarzy
różnica w normalizacji
łączenie kilku lokalnych PCA (eigeneyes,
eigennoses, itp.)
Przestrzenie posiadają mniej wymiarów
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Lokalne PCA
K1
K2
K3
K4
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Tworzenie przestrzeni
PCA wyznacza główne kierunki różnic
Brak wykorzystania informacji
o przynależności do klasy
Rozwiązanie problemu:


Linear Discriminant Analysis (LDA)
Fisherfaces
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
PCA – przykład działania
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
PCA – przykład działania
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Przykład nie działania
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Tak by było lepiej...
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Jak działa LDA?
PCA:

próbka treningowa  macierz kowariancji
LDA:

sklasyfikowana próbka treningowa 
dwie macierze kowariancji
 wewnątrz-klasowa
 między-klasowa
Znalezienie bazy ortogonalnej
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Macierze kowariancji
Międzyklasowa
c
C B   N i ( i   )( i   

i 1





CB – międzyklasowa macierz kowariancji
c – liczba klas
Ni – liczba elementów i-tej klasy
 – obraz średni
i – obraz średni i-tej klasy
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Macierze kowariancji
Wewnątrzklasowa
c
CW    ( xk   i )( xk   i 

i 1 xk X i





CW – wewnątrzklasowa macierz kowariancji
c – liczba klas
Xi – zbiór obrazów i-tej klasy
xk – k-ty obraz należący do i-tej klasy
i – obraz średni i-tej klasy
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Jak to policzyć?
PCA:
ψ  arg max | ψ Cψ |
T
ψ
C v    v

 - macierz złożona z wektorów własnych
LDA:
| ψ CB ψ |
ψ  arg max T
ψ |ψ C ψ|
W
T
CB  v    CW  v
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Fisherfaces
LDA – skomplikowane obliczenia
na dużych macierzach
Fisherfaces:


PCA do redukcji wymiarów
LDA do znalezienia optymalnej bazy
T
PCA
T
PCA
| ψ ψ'
ψ  arg max T
ψ | ψ ψ'
T
C B ψ'PCA ψ |
CW ψ'PCA ψ |
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Ekstrakcja cech Fisherfaces
Policzyć wektor cech za pomocą PCA


na wejściu znormalizowany obraz
redukcja liczby wymiarów
Policzyć wektor cech za pomocą LDA



na wejściu wektor cech PCA
rotacja wektora cech
zachowanie liczby wymiarów wektora cech
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Bayesian Matching
Podobieństwo wektorów oparte
o prawdopodobieństwo przynależności
ich różnicy
S ( I1 , I 2 )  P(  I )  P(I | )
  I1  I 2


I – zbiór par intrapersonalnych
E – zbiór par ekstrapersonalnych
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Prawdopodobieństwo
P (  |  I ) P ( I )
P ( I |  ) 
P (  |  I ) P ( I )  P (  |  E ) P ( E )
P(|) - prawdopodobieństwo
pojawienia się różnicy w określonej
przestrzeni różnic

jest funkcją błędu projekcji PCA – ()
P(  |  I ) ~ e
 (  ) 2
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Projekcja wsteczna
(przypomnienie)
Wektor cech -> obraz twarzy
N'
xP   wi  vi  
i 1
xP   'W  
Różnica między obrazem wejściowym
a odtworzonym (błąd projekcji)
 || x  xP ||
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Przestrzenie różnic
Dwie klasy par obrazów

intra- i ekstra-personalne
Obrazy będące różnicami
między obrazami

dwie klasy różnic
Stworzenie baz ortogonalnych
przestrzeni różnic za pomocą PCA
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Kwintesencja BM
Rozpoznawana różnica dwóch obrazów

Dual Eigenfaces
Odległość różnicy od dwóch przestrzeni
Metoda dość wolna


różnica obrazów dla każdego porównania
można zastosować inną metodę
do wstępnej selekcji
(wybrania n najlepszych)
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Inne metody
Local Feature Analysis
2D PCA, 2D LDA
Independent Component Analysis
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Podsumowanie
Istnieje wiele metod bazujących
na Eigenfaces
Ulepszanie:



topologia twarzy
koncentrowanie się na szczegółach
klasyfikacja różnic
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006
Dziękuję za uwagę!
Za tydzień – metoda EBGM
Rozpoznawanie Twarzy i Systemy Biometryczne,
2005/2006