Transcript Robustna segmentacija slik z ve*merilnim odkrivanjem in

Doktorska disertacija
ROBUSTNA SEGMENTACIJA
SLIK Z VEČMERILNIM
ODKRIVANJEM IN
PORAVNAVANJEM ROBOV
Kandidat: Dušan Heric
Mentor: prof. dr. Damjan Zazula
Komentor: doc. dr. Božidar Potočnik
Teza
2
Redefinicija splošno privzetih izhodišč za odkrivanje robov, ki namesto
prehodov med točkami uvajajo večmerilne gradiente v širših robnih območjih
in jih povezujejo s poravnavo, vodi k robustnejšim in zanesljivejšim postopkom
za sledenje robovom, hkrati pa dodaja metriko, s katero je ocenjena stopnja
zaupanja za povezavo posameznih robnih točk v konture.
Razširitev postopka za razpoznavo robnih točk, ki temelji na klasični 1D valčni preslikavi, z
usmerjeno valčno preslikavo poveča njegovo robustnost.
Povezovanje robnih točk s postopkom poravnave 1D signalov, ki jih predstavljajo slikovne
vrstice ali stolpci, je zanesljivejše od postopkov, ki povezujejo robne točke z morfološkimi
operatorji ali aktivnimi konturami.
Postopek večmerilne poravnave 1D signalov, ki primerja signala iz dveh različnih meril,
izboljša natančnost in robustnost poravnave, pri kateri upoštevamo zgolj signale iz istega
merila.
Na osnovi mere zaupanja, ki jo bomo izpeljali iz parametrov za poravnavo robnih točk, se
lahko odločimo, s kakšno verjetnostjo neka robna točka pripada določeni konturni liniji.
Postopki segmentiranja
3
Segmentacija
Nizkonivojska
Pragovno
segmentiranje
Razpoznavanje
robov
Rast regij
Visokonivojska
Uporaba
hevristike
Predhodno
znanje
Sintaksa
in
semantika
Razpoznavanje robov
4
Razpoznavanje
robov
Klasično
Lokalni
operatorji
Sobel,
Roberts,
Prewitt,
Robinson,
Frei-Chen
Izpopolnjeno
Velika
občutljivost
na šum,
nehomogeno
osvetlitev
Merilni
prostori,
statistična
obdelava,
poravnava
Edison,
PeronaMalik, EdgeFlow, Canny
Naš postopek
5
Razpoznavanje robnih točk
Slika
• Sivinska
slika
•
•
•
•
Valčna preslikava
Usmerjenva valčna preslikava
Entropijska mera
Mera homogenosti
Povezovanje robnih točk
Slika kontur
• Binarna slika
• Poteka po
• vrsticah in stolpcih
• vzdolž robnega območja
• Ocena indeksa zaupanja
Rob
6
Predstavljen z eno-,
t  ali
0
Prehod med dvema 0
dvo h 

slikovnima
območjema
trodimenzionalnimi
f nagib (t , h,  )  t  tg t  [0, k ]; k  

modeli
tg





 h
tk
Rob
Nahaja se na robnem
območju
Robni profili
• Streha
• Črta k
 
• eStopnica
t 0
0 
 2 
1D valčna preslikava
7
Postopek
dekompozicije signala
na valčke
Definirana kot skalarni
produkt med baznimi
valčki in signalom s(t)

Valčna
preslikava
Preslika signal s(t) na
merilno ravnino
Ws ( , )    , (t ) s(t )dt    , , s

  , (t ) 
 t  


   
1
Rodovni valček – bazni
valček
• Ničelno povprečje
• Norma p2 = 1
Haarov valček
8




j 1

1
t

0
,
2
j
 
 j (t )  2 2  1 t  2 j 1 ,2 j
0
sicer

Analiza roba s Haarovim valčkom
amplituda
9
e
amplituda
merilo α1
amplituda
merilo α2
amplituda
t
merilo α3
t
t
t
Ws ( , )
0

Razpoznavanje robov s Haarovim
valčkom
10
Razrez vhodne slike
Haarova preslikava
• Po vrsticah in stolpcih – 1D
stolpčni in vrstični signali
• Diadična Haarova valčna
preslikava – merilna ravnina
Ločeno obravnava pojave po
vrsticah in stolpcih
Primeren za razpoznavanje
točkovnih pojavov
Določitev robnih točk
Določitev linij
maksimumov
preslikavo,
ki
Cilj- uporabiti
• Razpoznavanje maksimumov –
obravnava pojave širše
matrika maksimumov
• Adaptivna izbira robnih
maksimumov (entropija)
• Robnim maksimumom v
najnižjem merilu določa mesto
robne točke
• Povezovanje maksimumov –
linije maksimumov
Usmerjena valčna preslikava
11
M 1 N 1
1
I m, n   , ( 1  m, 2  n)
m 0 n 0 
 ( 1 , 2 )    ( 1 ) ,  2  [0, M  1]
W ( , 1 , 2 , )  
 , ( 1  m, 2  n)   ( '1 , '2 )
 '1   1 cos   2 sin 
 '2   1 sin    2 cos
Razpoznavanje robov s Haarovim
jedrom
12
H ( , 1 , 2 )  1 
G ( , 1 , 2 )
 ( , 1 , 2 )

maxG ( , 1 , 2 ) max ( , 1 , 2 )
1 , 2
Smerni vektorji
…
…
…
1 , 2
Poravnava
13
Postopek iskanja
preslikave izvornega
signala v ciljni signal
Temelji na meri
podobnosti
• Povprečje kvadratov razlik
• Normalizirana križna korelacija
• Entropijska mera podobnosti
Poravnava
Cilj - poravnavo
uporabiti za
povezovanje robnih
točk v konturno linijo
Deli se na:
• togo in
• elastično
Toga poravnava 1D signalov
14
c  sr (t )  b  ss (t  m)
E (c, m, b) 
[(cs (t )  b)  s (t  m)]
2
t
c
m   u  A 1  Y
 
 b 
r
s
s ()


k  s r ()  s
1 
t


T
A  k k
Y  k  s s ()
T
Elastična poravnava 1D signalov
15
 c 
 m 
 b 
Es (c, m, b)  1    2    3  
 t 
 t 
 t 
2

ui  k  k T  L
  Y  L  u 
1
i 1
2
2
E (ui )
 2 k  k T ui  Y  L  ui 1  ui 
ui


Povezovanje po vrsticah in stolpcih
16
Bsi ( , t )  Bsi 1 ( , t  m( , t ))  Bsi ( , t )
Ws
Ws

 ci 
m 
 i
 bi 
2
32
16
i+1
i
8
4
1
2
i
i+1

Bsi
Bsi+1
Povezovanje vzdolž robnega območja
17
xk 1  xk  cosk 
yk 1  yk  sin k 
Mera zaupanja
18
Cf  e

b 
 m  w 
a 

Rezultati - primerjava natančnosti
razpoznavanja robov
19
klasičn a WT
razdalja MAD [točk]
1
usmerjena WT
0,8
0,6
0,4
0,2
0
5
10
15
20
25
30
35
40
45
50
razmerje signal-šum [dB]
Povprečen delež napačno
razpoznanih točk
μ MAD
σ MAD
min MAD
max MAD
Klasična
0,71
0,13
0,51
1,43
10,60%
Usmerjena
0,68
0,06
0,53
0,87
9,00%
Preslikava
Primer – povezovanje robnih točk
20
Večmerilno povezovanje
Enomerilno povezovanje
Testna slika
Morfološko povezovanje
Povezovanje z aktivnimi konturami
Rezultati - primerjava postopkov
povezovanja robnih točk
21
4
morfološko
aktivne konture
enomerilno
več merilno
razdalja MAD [to čk]
3.5
3
2.5
2
1.5
1
0.5
0
3
5
10
15
20
25
30
razmerje signal-šum [dB]
μ MAD
σ MAD
min MAD
max MAD
Morfološko
1,28
0,91
0,54
3,10
Aktivne konture
(α=0,5,β=0,5)
1,07
0,24
0,62
1,80
Enomerilno
0,74
0,21
0,51
1,10
Večmerilno
0,68
0,16
0,50
0,93
Postopek
Ocena zaupanja v povezave konture
22
0,16
0,14
0,12
20
0,10
0,08
15
0,06
0,04
10
0,02
3
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
Mera zaupanja Cf
0,8
0,9
1
Amplituda
Razmerje signal-šum [dB]
40
Primer – primerjava postopkov
razpoznavanja robnih točk
23
Naš postopek
Perona-Malik
¸
Večmerilni Canny
Edge-Flow
Primerjava postopkov razpoznavanja
robnih točk
24
5
Edge-Flow
Perona-Malik
Edison
Canny
Naš postopek
razdalja MAD [točk]
4
3
2
1
0
5
10
15
20
25
30
35
razmerje signal-šum [dB]
40
45
50
Sklep
25
Na osnovi rezultatov ugotavljamo, da smo doktorsko tezo uspeli
potrditi
• Razpoznavanje robov z usmerjeno valčno preslikavo je robustnejša kot z 1D
valčno preslikavo
• Povezovanje robnih točk v konture s poravnavo je zanesljivejše kot z morfološkimi
operatorji in aktivnimi konturami
• Večmerilno povezovanje je natančnejše od enomerilnega povezovanja robnih točk
v konturno linijo
• Z mero zaupanja lahko ocenimo stopnjo zaupanja v povezave konturne linije
Smernice za nadaljnji razvoj
• Izboljšati postopek za ločevanje linijskih in točkovnih pojavov v usmerjenem
merilnem prostoru
• Predvidevamo, da lahko zgolj s postopkom poravnave:
• razpoznamo robove poljubnih robnih profilov
• izboljšamo kontrast slike