Transcript Rozpoznawanie podpisów odręcznych na podstawie

Rozpoznawanie podpisów odręcznych
na podstawie zredukowanego
zbioru cech i nowej miary
podobieństwa
Piotr Porwik
Uniwersytet Śląski
w Katowicach
Zagadnienia prezentacji






2
Urządzenia rejestrujące
Cechy podpisu
Miary podobieństwa cech
Nowa koncepcja podobieństwa
Redukcja cech
Klasyfikacja na pełnym i zredukowanym
zbiorze cech
Biometria w urządzeniach
moblinych
Czy identyfikacja /weryfikacja osoby
jest zawsze możliwa? NIE!
Podpis kapitana Bonaparte w roku 1793 (ma 24 lata)
Generał dywizji (1796) (ma 27 lat)
Napoleon jak cesarz Francji 1804 (ma 35 lat)
Dowódca Francuzów pod Austerlitz 1805 (ma 36 lat)
Dowódca Francuzów pod Moskwą 1812 (ma 43 lata)
Przed śmiercią na wyspie Św. Heleny 1821 (ma 52 lata)
3
1769 Korsyka – 1821 Św. Helena
Biometria w urządzeniach
moblinych
Urządzenia rejestrujące podpis
SigLite Backlit LCD 1x5 HID USB
4
Biometria w urządzeniach
moblinych
Cechy podpisu (1)


Cechy statyczne (np. podpis off-line)
Cechy dynamiczne (np. podpis on-line)
–
–
–
–
–
5
Siła nacisku pióra na podłoże
Chwilowe przyśpieszania pióra
Prędkości kierunkowe
Liczba podniesień i opuszczeń pióra
Kąt nachylenia pióra
(40 cech można zarejestrować lub je wyznaczyć na
podstawie zarejestrowanych cech)
Biometria w urządzeniach
moblinych
Czy to jest ważne ?
6
Biometria w urządzeniach
moblinych
Cechy podpisu (2)
S  s(1), s(2),
, s( z)
s( t )
t  1,..., z
F  { f1, f 2 ,..., fu }
7
s(t )  [ f1t , f 2t ,..., f ut ]
Biometria w urządzeniach
moblinych
Cech podpisu –graficznie (1)
8
Biometria w urządzeniach
moblinych
Cechy podpisu – graficznie (2)
9
Biometria w urządzeniach
moblinych
Miary podobieństwa (1)
10
1
Euclidean
12
Jaccard
2
Gower
13
Fidelity
3
Minkowski
14
Bhattacharyya
4
City Block
15
Hellinger
5
Cosine
16
Matusita
6
Kulczynski
17
Pearson
7
Canberra
18
Neyman χ2
8
Czekanowski
19
Squared χ2
9
Intersection
20
Symmetric χ2
10
Clark
21
Kullback–Leibler
11
Lorentzian
22
Kumar-Hassebrook
Biometria w urządzeniach
moblinych
Miary podobieństwa (2)
2


(
p

p
)(
q

q
)
i
i
i 
 i

ER 2 ( f i )  z i 1
z
2
2
(
p

p
)
(
q

q
)
 i
 i i
i
z
i 1
i 1

d Euc ( f i )    pi  qi
 i
z
1/ 2
2



z
sJac ( f i ) 
pq
z
p
i 1
11
2
i
i 1
z
i
i
z
  q   pi qi
i 1
2
i
i 1
Sung-Hyug Cha (2007) Comprehensive survey on distance/similarity measures
between probability density functions. Int. J. of Mathematical Models and Methods in
Applied Sciences, vol. 1, pp. 300-307.
Biometria w urządzeniach
moblinych
Nowa koncepcja podobieństwa (1)
Zbiór cech: f m  F
m  1,..., u
Zbiór metod :
(sposoby wyznaczania podobieństwa)  j  M
j  1,..., k
Zbiór wszystkich kombinacji „cecha-metoda”:
FM  {i
( f m ,  j )i : f m  F ,  j  M }, i  1,..., u  k
Niech nowy współczynnik nazywa się Sim
12
Biometria w urządzeniach
moblinych
Nowa koncepcja podobieństwa (2)
Podpisy oryginalne: 1  {S1 , S2 ,..., Sc }
Podpisy fałszywe:
 2  {S1 , S2 ,..., Sd }
X   S1  S2 ,..., S1  Sc ,..., Sc1  Sc ( uk ) c   [x1 ,..., x c  ]
 
 2
Y    S1  S1  ,...,  S1  Sd  ,...,  Sc  Sd  
( uk )( cd )
 
 2
 [ y1 ,..., ycd ]
c –liczba podpisów oryginalnych,
d – liczba podpisów fałszywych,
u – liczba zarejestrowanych cech,
k – liczba użytych miar podobieństwa (metod pomiaru)
13
Biometria w urządzeniach
moblinych
Nowa koncepcja podobieństwa (3)
Współczynnik Sim pomiędzy podpisami oryginalnymi:
 Sim( S1 , S2 )( f1 ,1 )11 


.


 Sim( S1 , S2 )( f1 ,k )1k 


X  x1  [ S1  S2 ]  
.

 Sim( S , S )( fu ,1 )u1 
1
2


.


 Sim( S , S )( fu ,k )uk 

( uk )1
1
2
14
Biometria w urządzeniach
moblinych
Nowa koncepcja podobieństwa (4)
Współczynnik Sim pomiędzy podpisami prawdziwymi i fałszywymi:
 Sim( S1 , S1 )( f1 ,1 )11 


.


 Sim( S1 , S1 )( f1 ,k )1k 



Y  y1  [ S1  S 1 ]  
.

 Sim( S , S  )( fu ,1 )1u 
1
1


.


 Sim( S , S  )( fu ,k )uk 

 ( uk )1
1
1
15
Biometria w urządzeniach
moblinych
Nowa koncepcja podobieństwa (5)
Macierze X oraz Y mogą być jednak bardzo duże!
(u  k )  ( c  d )
c
(u  k )   
 2
Rozwiązanie: redukcja rozmiarów macierzy. Na przykład:
-PCA
-SVD
-Metoda Hotellinga
Dwie pierwsze metod są dobrze znane i opisane w literaturze.
Metoda Hotellinga jest mniej znana ale tutaj daje najlepsze rezultaty.
16
Biometria w urządzeniach
moblinych
Szkic metody Hotellinga (1)
17
 x11
x
21

X
 .

 x p1
x12
x22
.
x p2
. x1n 
. x2n 
  x1, x 2 ,..., x n 
. . 

. x pn 
 y11
y
21

Y
 .

 y p1
y12
y22
.
y p2
.
.
.
.
y1m 
y2m 
  y1 , y 2 ,..., y m 
. 

y pm 
Biometria w urządzeniach
moblinych
Szkic metody Hotellinga (2)
Elementy macierzy X oraz Y są próbkami dwóch populacji:
yi ~ N p (, 
xi ~ N p (, 
Rozkład jest normalny, a parametry tego rozkładu są nieznane.
Można je jednak estymować:
y 
 x1 
 1
1
1
x  Xj 
n
n
1
S1 
n 1
18
 
x 
2

xi   
.


i 1
x 
 p
n

1
1
y  Yg 
m
m
n

i 1
( xi  x )( xi  x )
T
S2 
1
m 1


 y2 
yi   
 . 
i 1


y 
 p
m

m

( yi  y)( yi  y)T
i 1
Biometria w urządzeniach
moblinych
Szkic metody Hotellinga (3)
* - test Bartletta
Jeśli kowariancje S1 oraz S2 są homogeniczne*, to:
V1 
S1( n  1)  S2 ( m  1)
nm2
(wariancja wspólna)
w przeciwnym przypadku:
S1 S2
V2  +
n m
(wariancje oddzielnie)
1
Statystyka Hotellinga: T  ( x  y) Vi ( x  y)
2
T
i  {1, 2}
Test Hotellinga można sprowadzić do testu F:
19
n  m  p 1 2
F
T
p(n  m  2)
F
Fp,nm p1,
Poziom istotności
Biometria w urządzeniach
moblinych
Szkic metody Hotellinga (4)
20
Biometria w urządzeniach
moblinych
Bazy danych

SVC 2004
http://www.cse.ust.hk/svc2004

MCYT
http://atvs.ii.uam.es/mcytscores.html

SigComp2011
http://www.iapr-tc11.org/mediawiki/index.php/Datasets_List

4NSigComp2012
http://www.iapr-tc11.org/mediawiki/index.php/Datasets_List

SigWiComp2013
http://www.dfki.de/afha/2013/SigWiComp.html

Baza własna
http://biometrics.us.edu.pl
21
Bazy zawierają podpisy oryginalne i sfałszowane.
W eksperymencie badano 1600 podpisów z podziałem
na podpisy uczące i testowe
Biometria w urządzeniach
moblinych
Testy praktyczne, (k-NN), Hotelling
22
Prawidłowe rozpoznanie
Biometria w urządzeniach
moblinych
Testy praktyczne, PCA
23
Biometria w urządzeniach
moblinych
Testy praktyczne, PCA
24
Biometria w urządzeniach
moblinych
Testy praktyczne (k-NN), PCA
25
Nieprawidłowe rozpoznanie!
Biometria w urządzeniach
moblinych
Jakie klasyfikatory stosować do
weryfikacji podpisu ?
Pytania dodatkowe. Dla nowego typu danych:
czy jakość klasyfikacji jest podobna kiedy klasyfikator pracuje na:
-danych zredukowanych,
-danych nie zredukowanych, (to może być duży zbiór!)
-danych surowych (pierwotne cechy, bez przetworzenia)
Aby odpowiedzieć na te pytania trzeba przeprowadzić
odpowiednie eksperymenty!
Accuracy 
26
liczba poprawnie klasyfikowanych
liczba wszystkich prób
Biometria w urządzeniach
moblinych
??
„It is obvious that more does not mean better,
especially in the case of classifiers!!” *)
*) XIAO-HUA ZHOU et al..Statistical Methods in Diagnostic
Medicine. Wiley-Interscience, 2002,
27
Biometria w urządzeniach
moblinych
Zastosowane klasyfikatory
28
Biometria w urządzeniach
moblinych
Wyniki klasyfikacji
29
Biometria w urządzeniach
moblinych
Wyniki klasyfikacji
30
Biometria w urządzeniach
moblinych
Wyniki klasyfikacji
Użyte narzędzia Matlab, R, KNIME
31
Biometria w urządzeniach
moblinych
Wyniki klasyfikacji
32
Biometria w urządzeniach
moblinych
Porównanie z innymi
(przybliżona ocena)
33
1) D. Impedovo, G. Pirlo, Automatic signature verification: the state of the
art. IEEE Trans. on Syst. Man. and Cybernetics. Part C: Applications and
Reviews, vol. 38v no. 5, 2008, pp. 609-635.
Biometria w urządzeniach
moblinych
PNN+PSO
 [( J  c )T ( J  c )]1/2 
G( J, c )  exp  

2 2


34
Biometria w urządzeniach
moblinych
100
5
99.8
4
99.6
3

Accuracy [%]
Trening sieci
99.4
2
99.2
1
99
0
5
10
15
PSO epoch
20
0
0
5
10
15
PSO epoch
(2.21, 99.34)
100
Accuracy [%]
90
35
80
70
60
50
0
1
2

3
4
5
Biometria w urządzeniach
moblinych
20
www://mit.us.edu.pl
36
Biometria w urządzeniach
moblinych
www://mit.us.edu.pl
37
Biometria w urządzeniach
moblinych
Dziękuję za uwagę
38
Biometria w urządzeniach
moblinych