Transcript Bildausw_2_Merkmale_StatBild

Erste Stufe der Informationsgewinnung
Interpretationszyklus für Einzelbilder
Zuordnung von Modellausprägungen zu Bilddaten
Generische räumliche Beschreibung
(parametrisierte Modelle für Szene,Objekte, Beleuchtung, Abbildung)
Modifiziert
Bestimmt
Art
Modellelemente
Bildauswertung
Parameterschätzung,
Klassifikation
Modellausprägungen
(Parametersätze)
Modellwelt
Bestimmt
Art
Merkmale,
Primitive
Verfahren
extrahieren
Signalverarbeitung
Projektion
Modellwelt-Bild
Synthese
Digitalisiertes
Bild
Bildsensor
5_Informationsgewinnung_StatBild Seite 1
Synthetisches Bild,
Szenenskizze
Display
Informationsgewinnung
Bildmerkmale
Objektberandung
(Geometrie)
Grauwertunterschiede
Texturunterschiede
Lokalisierung
Segmentierung
Freiheitsgrade
Form
Oberflächeneigenschaft Grauwert
(Radiometrie)
Textur
Klassifikation
Modellähnlichkeit
(geometrisch, radiometrisch)
Klassifikation
KantenMerkmal 1- operator
Bild
Bild
...
...
N Kantenbilder
...
Merkmal NBild
Fleckoperator
5_Informationsgewinnung_StatBild Seite 2
N Fleckbilder
Videokamera
Diskrete Signale

T
rn  n1x1, n2x2 ,, nDxD 
Aliasing räumlich und zeitlich:
Signale halbe Abtastfrequenz!
Abstandsmaße im diskreten Gitter
 ´
 ´
de ( x, x )  x  x 
D
´ 2
(
n

n
 d d ) xd
2
Euklidische Distanz
d 1
D
 ´
db ( x , x )   nd  nd´
City-block-Distanz
 ´
d c ( x , x )  max nd  nd´
Schachbrett-Distanz
d 1
d 1,...,D
5_Informationsgewinnung_StatBild Seite 3
Informationsgewinnung
Merkmale
Textur-Deskriptoren
• Texturelle
• Statistische
• Fourier
Berandungsdeskriptoren
• Einfache
• shape numbers
• Fourier
• Momente
Regionale Deskriptoren
• Einfache
• Topologische
5_Informationsgewinnung_StatBild Seite 4
Informationsgewinnung
Merkmale
Grauwert-Deskriptoren: Textur
Keine formale Beschreibung von Textur.
Maße für Glattheit, Rauhigkeit, Regelmäßigkeit, etc.
periodisch
homogen
Rauh
fraktal
Drei Ansatzpunkte zur Beschreibung von Textur:
• Statistisch: glatt, rauh, körnig,grob
• Strukturell: Anordnung geometrischer Primitive (z.B. reguläre Anordnung v. Linien)
• Spektral: Detektion globaler Periodizitäten als Peaks im räumlichen Frequenzspektrum
5_Informationsgewinnung_StatBild Seite 5
Informationsgewinnung
Merkmale
Textur: Statistische Ansätze
h
homogen
0
255 g
Rauh
fraktal
h
0
.
.
.
255 g
.
.
.
1. Auswertung des Histogramms
des durch die Maske definierten
Bildbereichs
5_Informationsgewinnung_StatBild Seite 6
Informationsgewinnung
Merkmale
Textur: Statistische Ansätze: Momente des Grauwerthistogramms
Wenn L die Anzahl der Grauwerte ist
und h(gi) das Histogramm in der Maske,
so sind die n-ten Momente:
h
L
0
255 g
 n ( g )   ( g i  m) n h ( g i )
i 1
L
m   g i h( g i )
i 1
Das zweite Moment heisst Varianz und
wird mit s² bezeichnet. Es ist ein Maß
des Grauwertkontrasts. Z.B. ist
h
0
255 g
1
R  1
1 s 2
R=0 für konstanten Grauwert und geht
gegen 1 für große s.
n=3: Skewness des Histogramms
n=4: relative Plattheit des Histogramms
5_Informationsgewinnung_StatBild Seite 7
Informationsgewinnung
Merkmale
Textur: Statistische Ansätze: 2. Auswertung der Coocurrence-Matrix
Nachteil der reinen Histogramm-Ansätze: keine Information über relativen Position der
Pixel zueinander (Phase).
Information über die Positionen von Pixeln mit gleichem oder ähnlichem Grauwert:
Coocurrence-Matrix.
Positionsoperator Pk,l : In Bezug auf aktuellen Punkt (u,v) wähle aus Punkt (u+k, v+l).
Anzahl der unterschiedlichen Grauwerte G
Matrix A mit GxG Elementen ai,j : Anzahl, wie oft g(u,v)=i und g(u+k,v+l)=j.
Coocurrence-Matrix C: Matrix A dividiert durch Anzahl der Punktpaare, die P erfüllen.
Beispiel:
G=3: g e {0,1,2}; Positionsoperator P1,1
0 0 1 2 Ergibt die 4 2 0
2 3 2
Matrix
A

1 1 0 1 1


1 2 0
2 2 1 0 0
Angewendet 0
auf das Bild
und damit
4

1
Cooccurrence
C  2
Matrix
16
2 0
3 2
1 2 0
1 1 0 2 0 ci,j ist ein Schätzwert für die bedingte Wahrscheinlichkeit,
0 0 1 0 1
dass ein Paar von Punkten, das P erfüllt die Werte i,j hat.
5_Informationsgewinnung_StatBild Seite 8
Informationsgewinnung
Merkmale
Textur: Statistische Ansätze: Coocurrence-Matrix
Aus der Coocurrence-Matrix C können Maße zur Charakterisierung einer Textur
gewonnen werden. Eine solche Menge von Deskriptoren ist z.B.:
(1) Maximale Wahrscheinlichkeit
Stärkste Antwort auf P
(2) Moment der Elemente-Differenz der Ordnung k
relativ kleiner Wert, wenn hohe Werte nahe Hauptdiag.
max(cij )
i, j
k
(
i

j
)
cij

i
j
cij
(3) Moment der inversen Elemente-Differenz der Ordnung k
Gegenteiliger Effekt wie (2)
 (i  j )
(4) Entropie
Maß für die Unordnung
  cij log(cij )
i
j
i
j
 cij
(5) Gleichförmigkeit
Entgegengesetzt zu (4)
i
5_Informationsgewinnung_StatBild Seite 9
k
j
2
Informationsgewinnung
Merkmale
Textur: Statistische Ansätze: Unser´s Summen- und Differenzhistogramme
Vereinfachung gegenüber Coocurrence-Matrix
Bildfenster gleicher Größe, deren Mitte um du und dv gegeneinander verschoben ist:
{gm´,n´ } = {gm+du, n+dv }, m = 1, ... ,M; n = 1, ... ,N
Summen und Differenzen der Grauwerte:
{sm,n }  {gm,n  gmdu ,ndv }; {dm,n }  {gm,n  gmdu ,ndv }
Summen- und Differenzhistogramme:
N s (i; d u , d v )  N s (i )  Anzahl ({ sm ,n } | sm,n  i ); hs (i ) 
N s (i )
 N (i)
s
i
N d (i; d u , d v )  N d (i )  Anzahl ({d m ,n } | d m ,n  i ); hd (i ) 
N d (i )
N
i
5_Informationsgewinnung_StatBild Seite 10
d
(i )
Informationsgewinnung
Merkmale
gm+du,n+dv
X
gm,n
dv
X
sm,n = gm,n + gm+du,n+dv
hs (i ) 
du
dm,n = gm,n - gm+du,n+dv
N s (i )
N
s
hd (i ) 
(i )
N d (i )
d
(i )
i
i
X
N
hd
hs
X
0
i
5_Informationsgewinnung_StatBild Seite 11
0
i
Informationsgewinnung
Merkmale
Textur: Statistische Ansätze: Unser´s Summen- und Differenzhistogramme
Maße aus den normierten Histogrammen:
2G
Unser
M sUnser

i

h
(
i
)
;
M
 s
, Mit
d , Mit 
i 0
2G
G
 i  h (i)
i G
2
Unser
M sUnser

h
(
i
)
;
M
 s
, ZwMom
d , ZwMom 
i 0
d
G
2
h
(
i
)
 d
i G
2G
Unser 2
Unser
M sUnser

(
i

M
)

h
(
i
)
;
M

, Kontr
s , Mit
s
d , Kontr 
i 0
2G
Unser
M sUnser

h
(
i
)
ln
h
(
i
);
M
 s
, Entr
s
d , Entr 
i 0
G
Unser 2
(
i

M

d , Mit )  hd (i )
i G
G
 h (i) ln h (i)
i G
d
können berechnet werden für verschiedene du und dv, meist
(1,0), (1,1), (0,1), (-1,0)
5_Informationsgewinnung_StatBild Seite 12
d
Informationsgewinnung
Merkmale
Textur: Statistische Ansätze: Momente
Zweidimensionale, kontinuierliche Funktion f(x,y): Moment der Ordnung (p+q):
 
m pq 

p q
x
 y f ( x, y) dx dy

für p,q = 0,1,2,...
Wenn f(x,y) kontinuierlich und nicht-verschwindende Elemente nur in einem Teil der
xy-Ebene, existieren Momente jeder Ordnung und sind eindeutig durch f(x,y) bestimmt.
Die Menge aller Momente bestimmt seinerseits f(x,y).
Zentrale Momente
 pq
 
m10
   ( x  x ) ( y  y ) f ( x, y) dx dy mit x 
m00

p
q
Für ein digitales Bild wird daraus
 pq   ( x  x ) p ( y  y ) q f ( x, y)
x
y
5_Informationsgewinnung_StatBild Seite 13
m01
und y 
m00
Informationsgewinnung
Merkmale
Textur: Statistische Ansätze: Momente
Zentrale Momente bis zur Ordnung 3:
m
10   ( x  x )1 ( y  y ) 0 f ( x, y )  m10  10 m00
m00
x
y
11   ( x  x )1 ( y  y )1 f ( x, y )  m11 
x
y
m10 m01
m00
2
2
2m
m
 20   ( x  x ) ( y  y ) f ( x, y )  m20  10  10
m00
m00
x
y
2
0
2
m
 m20  10
m00
2
m
 02   ( x  x ) ( y  y ) f ( x, y )  m02  01
m00
x
y
0
2
30   ( x  x )3 ( y  y ) 0 f ( x, y )  m30  3x m20  2 x 2 m10
x
y
12   ( x  x )1 ( y  y ) 2 f ( x, y )  m12  2 ym11  x m02  2 y 2 m10
x
y
 21   ( x  x ) 2 ( y  y )1 f ( x, y )  m21  2 x m11  ym20  2 x 2 m01
x
y
 03   ( x  x ) 0 ( y  y )3 f ( x, y )  m03  3 ym02  2 y 2 m01
x
y
Normierte zentrale Elemente:
 pq
 pq  
00
mit  
pq
1
2
5_Informationsgewinnung_StatBild Seite 14
für
p  q  2,3,...
Informationsgewinnung
Merkmale
Textur: Statistische Ansätze: Invariante Momente
Eine Menge von 7 invarianten Momenten aus den zweiten und dritten Momenten:
1  20  02
 2  (20  02 ) 2  4112
3  (30  312 ) 2  C
 4  (30  312 ) 2  (21  03 ) 2
5  (30  312 )(30  12 )  [(30  12 ) 2  3(30  312 )] 
 (321  03 )(21  03 )[3(30  12 ) 2  (21  03 ) 2 ]
6  (20  02 )[(03  12 ) 2  (21  03 ) 2 ]  411 (30  12 )(21  03 )
7  (321  03 )(30  12 )[(30  12 ) 2  3(21  03 ) 2 ] 
 (312  30 )(12  03 )[3(30  12 ) 2  (21  03 ) 2 ]
Translations-, rotations- und skaleninvariant
5_Informationsgewinnung_StatBild Seite 15
Merkmale
Informationsgewinnung
Textur: Vergleich der Trennungswirksamkeit von Texturmerkmalen
Quelle: Handbook
of Computer Vision Seite 16
5_Informationsgewinnung_StatBild
Segmentierung
Informationsgewinnung
Detektion von Diskontinuitäten
• Kanten
• Ecken
• Linien
Detektion von Ähnlichkeiten
5_Informationsgewinnung_StatBild Seite 17
Segmentierung
Detektion von Diskontinuitäten
Kanten
Grauwertprofil erste Ableitung
(Gradient)
5_Informationsgewinnung_StatBild Seite 18
zweite Ableitung
(Laplace)
Bildmerkmale
Merkmal Gradient
Motivation: Wenn Objekte homogen bezüglich Grauwert oder Texturmerkmal sind, dann
treten an Objektgrenzen starke Gradienten auf.
Grauwertbild
Gradientenbild
5_Informationsgewinnung_StatBild Seite 19
Bildmerkmale
Merkmal Gradient
 g ( x, y ) g ( x, y ) 
g ( x , y )  
,


x

y


 g ( x , y )   g ( x , y ) e i ( x , y )
T
g ( x, y )
y
  arct an
g ( x, y )
x
Betrag gibt Stärke des Grauwertübergangs.
• Rotationsinvariant
• Invariant gegen homogene GW-Änderungen
Phase gibt Richtung.
• Invariant gegen homogene GW-Änderungen
Diskretisierung im Bild -> Differenzenquotienten
5_Informationsgewinnung_StatBild Seite 20
Bildmerkmale
Merkmal Gradient
 g ( x, y ) g ( x, y ) 
g ( x , y )  
,


x

y


T
Diskretisierung im Bild -> Differenzenquotienten
g ( x, y ) f ( x, y )  f ( x  x, y )

x
x
f ( x  x, y )  f ( x, y )

x
f ( x  x, y )  f ( x  x, y )

2x
Rückwärts-xGradient –Dx
Vorwärts-xGradient +Dx
Symmetrischer-xGradient SDx
Ergibt Faltungsmaske
S
Dx 
1
 1,0,1
2
  1
1 
S
und analog für y
Dy   0 
2
 1
5_Informationsgewinnung_StatBild Seite 21
Bildmerkmale
Erinnerung: Faltung
100
30
90
g(m)
100
K(m)
25
80
70
90
80
70
20
60
60
50
15
50
40
40
10
30
20
30
20
5
10
10
0
0
1
3
5
7
9
11
13
15
17
Eindimensional, diskret
19
0
-9 -8 -7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 8 9
g~(m)  K (m)  g (m) 

1
3
5
7
9
 K ( j )  g (m  j )
11
13
15
17
19
m=17
j  
2D, diskret
2D, kontinuierlich
g~(m, n)  K (m, n)  g (m, n) 
g~( x, y)  K ( x, y)  g ( x, y) 


  K ( j , k )  g (m  j , n  k )
j   k  
 
  K ( , )  g ( x   , y   )dd

5_Informationsgewinnung_StatBild Seite 22
Bildmerkmale
Erinnerung: Faltung
2D, diskret, endl. Faltungskern
g~(m, n) 
JK
 KK
  g (m  j , n  k )  K (m
hs
j  J K k  K K
Bild {gm,n}, 0  m  M, 0  n  N
g1,1
g1,2
g1,3
g1,4
g1,5
g1,6
g1,7
Faltungskern {Km,n}
g1,8
g1,9
g1,9
...
K-1,-
g2,1
g2,2
g2,3
g2,4
g2,5
g2,6
g2,7
g2,8
g2,9
g2,9
...
K-1,0
K-1 1
1
X
g3,1
g3,2
g4,1
g4,2
g5,1
g5,2
g6,1
g6,2
g7,1
g3,3
K-1,1
g4,3
g3,4
g3,5
g3,6
g3,7
g3,8
g3,9
g3,9
...
g4,4
g4,5
g4,6
g4,7
g4,8
g4,9
g4,9
...
g5,6
g5,7
g5,8
g5,9
g5,9
...
K-1,0
X
K-1 1
K0,-1
K0,0
K0,1
g5,3
g5,4
g5,5
K1,-1
K1,0
K1,1
 j, nhs  k )
g6,3
g6,4
g6,5
g6,6
g6,7
g6,8
g6,9
g6,9
...
g7,2
g7,3
g7,4
g7,5
g7,6
g7,7
g7,8
g7,9
g7,9
...
g8,1
g8,2
g8,3
g8,4
g8,5
g8,6
g8,7
g8,8
g8,9
g8,9
...
g9,1
g9,2
g9,3
g9,4
g9,5
g9,6
g9,7
g9,8
g9,9
g9,9
...
...
...
...
....
...
...
...
...
...
...
...
K0,-1
K0,0
K0,1
K1,-1
K1,0
K1,1
g~ (4,4) 
1
1
Beispiel:
m = 4, n = 4, mhs=0
Jk = 1, Kk = 1, nhs=0
  g ( 4  j ,4  k )  K ( j , k ) 
j  1k  1
 g (5,5)  K (1,1)  g (5,4)  K (1,0) 
 g (5,3)  K (1,1)  g (4,5)  K (0,1) 
 g (4,4)  K (0,0)  g (4,3)  K (0,1) 
 g (3,5)  K (1,1)  g (3,4)  K (1,0) 
 g (3,3)  K (1,1)
5_Informationsgewinnung_StatBild Seite 23
Bildmerkmale
Merkmal Gradient
Einige gängige Gradienten-Operatoren:
Roberts
Prewitt
Sobel
Isotrop
0
 1

 1
 1

 1
 1
 2

  1
 1
 2

  1
1
0
0 1
0 1
0 1
0 1
0 2
0 1 
0
0
0
1 
2 
1 
1 0 
0  1


 1  1
0 0

 1 1
 1  2
0
0

 1
2
 1
0 
1 
 1
0 
1 
 1  2

0
0
1
2

 1

0
1 
5_Informationsgewinnung_StatBild Seite 24
Bildmerkmale
Merkmal Gradient
Gradienten-Operatoren verstärken Rauschen:
Vorzugsweise Operatoren mit Glättungseigenschaften
  1 0 1


Sobel Dx   2 0 2
  1 0 1 
 1  2  1
D y   0
0
0 
 1
2
1 
Dx  ( g 31  2 g 32  g 33 )  ( g11  2 g12  g13 )
Alternativ: Tiefpassfilterung mit Gaussfunktion und anschließende Ableitung
Gaussfunktion
G ( x, y ) 

1
2s
x2
2
e
x2  y2
2s 2

y2
 2
 2
1
1
2s

e

e 2s 
2 s
2 s
G ( x)  G ( y )
5_Informationsgewinnung_StatBild Seite 25
Bildmerkmale
Merkmal Gradient
Faltung mit der Ableitung der Gaussfunktion: Canny-Filter
G( x, y) 
1
2s
4
e

x2  y 2
2s 2
 x, y 
1
s
2
 x, yG( x, y)
Separierbar in x und y
5_Informationsgewinnung_StatBild Seite 26
Bildmerkmale
Merkmal Laplace
2
2

f

f
Laplace-Operator einer 2-dimensionalen Funktion f(x,y):  2 f 

x 2 y 2
Im Fall einer diskreten 3x3-Maske:
 0 1 0 


2
D    1 4  1 dam it D 2 f  4 g 2, 2  ( g 2,1  g1, 2  g 3, 2  g 2,3 )
 0 1 0 


Laplace-Operatoren verstärken Rauschen:
Glättung mit Gauss-Funktion
x y
x y




2
2
2
2s
2s 2
 e
 f ( x, y )    e
 f ( x, y )


2
e
2

2
x2  y 2
2s 2

2
1
s4
x
2

 y s e
2
2
2

x2  y2
2s 2
2s
Hildreth-Marr- oder Mexican Hat-Operator
x y


1
2
2s 2
H  2G  

e

2s 2 
2
2



Nulldurchgänge des Hildreth-Marr-gefilterten Bildes geben Kantenpixel-Kandidaten.
Überschwellige Pixel des Gradientenbildes geben Kantenpixel-Kandidaten.
5_Informationsgewinnung_StatBild Seite 27
Konturextraktion
Konturpunktextraktion beim Canny-Operator
1. Faltung mit Filter
x2  y 2

G( x, y) 
1
2s
4
e
2s 2
 x, y 
1
s
2
 x, yG( x, y)
2. Im faltungsgefilterten Bild: Gradientenbetragsmaximum in Gradientenrichtung
225°
180°
135°
G( x, y) G(c, y)  g ( y)
G( x, y) 
Gradienten-Richtung in M
1°...22°, 158°...202°, 338°...360°
23°...67°, 203°...247°
68°...112°, 248°...292°
113°...157°, 293°...337°
270°
F G
E M
D C
315°
H
A
B
90°
0°
45°
dg( y)
dy
Maximumbedingung
b(A)  b(M) und b(E)  b(M)
b(B)  b(M) und b(F)  b(M)
b(C)  b(M) und b(G)  b(M)
b(D)  b(M) und b(H)  b(M)
5_Informationsgewinnung_StatBild Seite 28
Wenn M Maximum, trage
in Ergebnisbild Betrag
und Richtung ein, sonst
0.
Konturextraktion
Konturpunktextraktion beim Canny-Operator
1. Faltung mit Filter
5_Informationsgewinnung_StatBild Seite 29
Konturextraktion
Konturpunktextraktion beim Canny-Operator
2. Gradientenbetragsmaximum in Gradientenrichtung
5_Informationsgewinnung_StatBild Seite 30
Konturextraktion
Konturpunktextraktion beim Canny-Operator
1. Faltung mit Filter
5_Informationsgewinnung_StatBild Seite 31
Konturextraktion
Konturpunktextraktion beim Canny-Operator
2. Gradientenbetragsmaximum in Gradientenrichtung
5_Informationsgewinnung_StatBild Seite 32
Konturextraktion
Kantenpixel-Verkettung
Vorgestellte Methoden liefern Intensitäts-Diskontinuitäten
Leider nicht immer Objektränder: Zusätzliche Struktur und
Kantenunterbrechungen durch Rauschen und Beleuchtungsdiskontinuitäten.
 Daher weitere Verarbeitung zur Zusammenstellung von
Kantenpixelkandidaten zu Rändern.
1. Unterdrückung zusätzlicher Strukturen:
I.A. kleiner Gradientenbetrag
Vorgehen:
Zwei Schwellen zur Unterdrückung:
1. Größere Schwelle zur Filterung ausgeprägter Konturpunkte
2. Dort Verfolgung der Kontur mit kleinerer Schwelle
5_Informationsgewinnung_StatBild Seite 33
Konturextraktion
2. Verdünnung auf pixelbreite Strukturen:
Durch Diskretisierung bis zu 3 Pixel breite Strukturen.
Gütekriterium in 3x1-Maske in Gradientenrichtung (Lacroix)
3. Lokale Verarbeitung:
Analyse in einer kleinen Nachbarschaft (z.B. 3x3 oder 5x5) um einen
Kandidaten:
Alle ähnlichen Kandidaten werden verbunden.
 Rand von Pixeln ähnlicher Eigenschaft.
Verwendete Maße: (1) Gradientenstärke und (2) Gradientenrichtung
g ( x, y)  g ( x´, y´)  T
 ( x, y)  ( x´, y´)  T
5_Informationsgewinnung_StatBild Seite 34
Eckpunkte
Eckpunkt-Detektor
Zweck: Zuverlässiges Punkt-Merkmal von Objekten , weitgehend
beleuchtungsunabhängig, z.B. für Tracking-Aufgaben.
Eckpunkt-Detektor nach Harris und Stephens
Matrix G gibt ein Maß für die lokale Variation des Grauwertgradienten:
  I x2
IxI y 
I
I


G
mit I x 
und I y 
2
 IxIy

x
y
Iy 

I x I y ist das punktweiseP roduktder Gradientenbilder
 bedeutet Gauss´sche Glättung.
Ein Eckpunkt liegt dann vor, wenn G gut konditioniert ist, d.h. wenn beide
Eigenwerte der Matrix groß sind.
Ausprägungsmaß für Ecken:

R  det(G) 

 


 2
k
k
2
2
2
2
spur
(
G
)

I
I

I
I

I

I
x
y
x y
y
k  12
k  12 x

2
k: max. Verhältnis der Eigenwerte, für das R positiv ist. Harris und Stephens: k=25
5_Informationsgewinnung_StatBild Seite 35
Bildsegmentierung durch Schwellwerte
Histogramm-Auswertung
Bild eines Merkmals, das sich für das Objekt charakteristisch ausprägt:
Merkmalsbild
1400
Histogrammsegmentierung
Hintergrund Objekt
Segmentierung
Anzahl Bildpunkte
1200
1000
800
600
400
200
g(x,y)
0
20 40 60 80 100 120 140 160 180 200 220 240 260
Helligkeit (Grauwert)
Schwelle T
5_Informationsgewinnung_StatBild Seite 36
H(x,y)=0, wenn g(x,y)  T
H(x,y)=1, wenn g(x,y) > T
Bildsegmentierung durch Schwellwerte
Auffinden der Schwelle mittels Histogramm-Auswertung (1)
Verteilungsfunktionen (Wahrscheinlichkeitsdichten) eines Merkmals z
für Objekt pO(z) und
Hintergrund pH(z)
mit a priori Auftrittswahrscheinlichkeiten von
Objektpunkten PO und
Hintergrundpunkten PH.
Bedingung PO + PH = 1.
Ergibt Gesamtwahrscheinlichkeitsdichte p(z) = PO pO(z) + PH pH(z)
Im Gauss´schen Fall:
PO
p( z ) 
e
2 s O

( z  O )2
2s O 2

PH

e
2 s H
( z  H )2
2s H 2
5_Informationsgewinnung_StatBild Seite 37
Bildsegmentierung durch Schwellwerte
Auffinden der Schwelle mittels Histogramm-Auswertung (2)
Wahrscheinlichkeit einer Fehlzuordnung E:
T
E (T )  PH
p
T
H
( z )dz  PO  PO

p
O
( z )dz

Minimierung von E
dE(T )
! 0  PO  pO (T )  PH  pH (T )
dT
Einsetzen, logarithmieren und vereinfachen ergibt quadratische Gleichung
A T 2  B T  C  0
mit
A  s O2  s H2 ; B  2(  Os H2   H s O2 ); C   O2s H2   H2 s O2  2s O2s H2 ln
5_Informationsgewinnung_StatBild Seite 38
s H PO
s O PH
Bildsegmentierung durch Schwellwerte
Auffinden der Schwelle mittels Histogramm-Auswertung (3)
Vorgehen nach obiger Methode:
1.
2.
3.
4.
5.
6.
Trainingsstichprobe Bildmaterial
Histogramm für Objektpixel hO
Histogramm für Hintergrundpixel hH
Berechnung von sO und O aus hO
Berechnung von sH und H aus hH
Berechnung von A, B und C:
A  s O2  s H2 ; B  2( Os H2   H s O2 ); C  O2s H2   H2 s O2  2s O2s H2 ln
s H PO
s O PH
7. Berechnung der Schwelle durch Lösung der quadratischen Gleichung
AT 2  B T  C  0
8. Anwenden der Schwelle auf neues Bildmaterial
5_Informationsgewinnung_StatBild Seite 39
Darstellung, Beschreibung und Erkennung von Konturen
Darstellung der Objekt-Berandung: Ketten-Code
1
0
0
Kettencode-Erstellung:
Folge der Richtungen entlang der Kontur ab beliebigem
Startpunkt.
Beispiel: 22110067665654323
6
7
1
2
Anfangspunktinvarianz
Startpunkt-Normierung:
Verschiebe zirkular so, dass die Sequenz eine Zahl minimaler
Größe bildet.
Beispiel: 22110067665654323  00676656543232211
2
Rotationsinvarianz
Rotationsnormierung:
Erste Differenz: Anzahl der Richtungen, die zwei
aufeinanderfolgende Elemente des Codes trennen.
Beispiel: 22110067665654323  07070617071777717
3
2
1
2
3
1
1
7
2
4
0
4
6
3
4
5
6
7
5
5
6
0
Anfangspunkt- und Rotationsinvarianz
Kettencode  Rotationsnormierung  Startpunktnormierung
Beispiel: 22110067665654323  07070617071777717 
06170717777170707
7
5_Informationsgewinnung_StatBild Seite 40
Darstellung, Beschreibung und Erkennung von Konturen
Darstellung der Objekt-Berandung: Polygon-Approximationen
Polygon-Approximationen einer digitalen Berandung mit beliebiger Genauigkeit.
Aber gesucht: Repräsentation der wesentlichen Berandungseigenschaften mit möglichst
kleiner Anzahl an Segmenten.
Nicht-triviales Problem iterativer Suche.
Einfache Methode für Polygone mit minimalem Umfang:
1. Bedeckung
Randkurve mit
rechtwinklig
angeordneten
Quadraten
2. Gerade
Verbindungen
der
Außenecken
des „Quadrateschlauches“
5_Informationsgewinnung_StatBild Seite 41
Darstellung, Beschreibung und Erkennung von Konturen
Beschreibung der Objekt-Berandung: Polardarstellung
A

r
A
r

Schwerpunkt
Schwerpunkt
r
r
A/2
A/2
A/2


/2

3/2
2
/2

3/2
5_Informationsgewinnung_StatBild Seite 42
2
Darstellung, Beschreibung und Erkennung von Konturen
Beschreibung der Objekt-Berandung: Momente
1. Umwandlung einer Berandung in eine
eindimensionale Kurve (z.B. Polardarst.)
2. Berechnung Momente der Kurve
K
 n ( )   ( i  ) n p( i )
i 1
A
m it
r

K
   i p( i )
i 1
Schwerpunkt
Bei Polardarstellung :
K
r
 n ( )   ( i   ) n r ( i )
A/2
i 1
A/2
m it

/2

3/2
2
K
   i  r ( i )
5_Informationsgewinnung_StatBild Seite 43
i 1
Darstellung, Beschreibung und Erkennung von Konturen
Beschreibung der Objekt-Berandung: Umschreibendes Rechteck (Bounding box)
1.
Große Halbachse: Gerade, welche die
am weitesten entfernten Punkte der
Objektberandung verbindet.
2.
Kleine Halbachse: Zur großen
Halbachse senkrechte kürzeste Gerade,
so dass die Objektberandung im damit
gebildeten Rechteck liegt.
3.
Exzentrizität: Verhältnis von großer zu
kleiner Halbachse
5_Informationsgewinnung_StatBild Seite 44
Darstellung, Beschreibung und Erkennung von Konturen
Beschreibung der Objekt-Berandung: Fourier-Deskriptoren
Rand ermittelt: Zähler s längs Berandung ergibt Menge {x(s),y(s)} s=0,...,L-1
Als komplexe Zahl: u(s) = x(s) + iy(s)
L-periodisch für geschlossene Konturen.
DFT:
2ks
i
1 L 1
u ( s)   a(k )  e L , 0  s  L  1
L k 0
L 1
a(k )   u ( s)  e
i
2ks
L
, 0  k  L 1
s 0
a(k): Fourier-Deskriptoren der Berandung.
Transformationseigenschaften:
Identität
u(s)
Translation
u´(s) = u(s)+u0
Skalierung
u´(s) = au(s)
Anfangspunkt
u´(s) = u(s-s0)
Rotation
u´(s) = u(s) exp(i2)
a(k)
a´(k) = a(k)+ u0d(k)
a´(k) = aa(k)
a´(k) = a(k) exp(-i2s0k/L)
a´(k) = a(k) exp(i2)
5_Informationsgewinnung_StatBild Seite 45
Darstellung, Beschreibung und Erkennung von Konturen
Beschreibung der Objekt-Berandung: Fourier-Deskriptoren
Ähnlichkeit der Form von Randkurven mit Fourier-Deskriptoren
Randkurven u(s) und v(s) mit a(k) und b(k):
2
 L1
i
d (u0 ,a , , s0 )  min  u(s)  a  v(s  s0 )  e  u0 
u0 ,a , , s0
 s 0

L 1
a( k )   u ( s )  e
i
s 0
2ks
L
M 1
, 0  k  L  1; b(k )   v(s)  e
i
2ks
M
, 0  k  M 1
s 0
  2s0 / L
 L1
i ( k  ) 2 
d (a , , s0 )  min a(k )  a  b(k )  e

a , , s0
 k 0

mit Definitionvonc(k)und k durch a(k )b* (k )  c(k )eik  a(k ) b(k ) ei a (k )b (k ) 
Für mittelwertfreie u(s) und v(s) ist u0=0 und mit
erhältman a 
 c(k ) cos(
k
k
 k   )
 b(k )
k
 c(k ) sin(  k)
und tan  
 c(k ) cos(  k)
k
k
2
k
k

2
Damit wirddie Minimalbedingung d  mind ()  min a(k )  ab(k )  ei ( k  ) 




5_Informationsgewinnung_StatBild Seite 46
Darstellung, Beschreibung und Erkennung von Konturen
Beschreibung der Objekt-Berandung: Fourier-Deskriptoren
Erkennung
L 1
a2 (k )   u2 ( s)  e
s 0
L 1
a1 (k )   u1 (s)  e
i
2ks
L
, 0  k  L 1
s 0
5_Informationsgewinnung_StatBild Seite 47
i
2ks
L
, 0  k  L 1
Darstellung, Beschreibung und Erkennung von Konturen
Beschreibung der Objekt-Berandung: Fourier-Deskriptoren
Erkennung
z.B. Canny
…
L 1
KonturCn : bn (k )   vn ( s)  e
s 0
5_Informationsgewinnung_StatBild Seite 48
i
2ks
L
, 0  k  L 1
Darstellung, Beschreibung und Erkennung von Konturen
Beschreibung der Objekt-Berandung: Fourier-Deskriptoren
Erkennung

2
d1  mind1 ()  min a1 (k )  abn (k )  ei ( k  )   thresh  Cn  c1





2
d 2  mind 2 ()  min a2 (k )  abn (k )  ei ( k  )   thresh  Cn  c2




5_Informationsgewinnung_StatBild Seite 49
Darstellung, Beschreibung und Erkennung von Konturen
Hough-Transformation: Abstimmungsverfahren zur Parameterschätzung
Gegegeben: eine parametrisierte Beschreibung (Modell) y= f(x, a0, a1,…, aN) der
Koordinaten einer Objektberandung mit den Parametern a0, a1,…, aN,
z.B. Geraden y= a0 + a1x.
Ein Konturpunkt [x0,y0]T im Bild kann dann ein Element einer Schar von
Modellausprägungen sein, welche die Beziehung y0=f(x0, a0, a1, …, aN) erfüllen.
y
y0
 a01   a02 
Geradenschar mita1   , a2   , 
 a11 
 a12 
x
x0
y
So gehört zu jedem Konturpunkt eine Menge von 0
Parametervektoren
  a01   a02  
 x0 

 y   ax0 , y0  a1   a , a2   a ,
 11 
 12  
 0

bzw. eine Menge von Punkten im Parameterraum.
a0
a0  y0  x0  a1
a1
Darstellung, Beschreibung und Erkennung von Konturen
Hough-Transformation: Abstimmungsverfahren zur Parameterschätzung
Gehören Punkte zur parametrisierten Modellfunktion, so schneiden sich ihre
Punktemengen im Parameterraum. Dort ergibt sich die höchste Punktedichte.
a0
y
Kumulatorraum
y0
a0  y0  x0  a1
y0
x0
x
a1
Diskretisierung:
Aufteilung des Parameterraums in diskrete Gitterzellen mit jeweils einem
Kumulator -> Kumulatorraum.
Für alle Konturpunkte: Inkrementierung der Kumulatoren der Gitterzellen, durch
welche die Parameterkurve der Modellfunktion geht.
Darstellung, Beschreibung und Erkennung von Konturen
Hough-Transformation für Geraden
Parameterform Hessesche Normalform für Geradenr
r
 x  cos  y  sin 
Kumulatorraum
y
r
o

x

Vereinfachung unter Zuhilfenahme der Richtung:
Annahme, dass Konturpixel Element einer Geraden mit bekannter Richtung
y  x tan  x0
x0  yc  xK tan K
r
x0
1  tan2  K
Kontur
Erhöhung des Kumulators nur bei r,K
Darstellung, Beschreibung und Erkennung von Konturen
Hough-Transformation für Kreise
Parameterform x  xZ    y  yZ   r 2
ergibt drei-dimensionalen Kumulator.
2
2
Vereinfachung, wenn nur Kreise mit festem Radius gesucht werden:
Um jeden Konturpunkt auf Kreis mit Radius R im xZ-yZ-Raum Kumulatoren
erhöhen.
yc
y
o
o
o
x
Weitere Vereifachung bei bekannter Richtung:
Kumulator im xZ-yZ-Raum in Richtung K erhöhen.
xc
Darstellung, Beschreibung und Erkennung von Konturen
Hough-Transformation für allgemeine Konturen
Beschreibung der Form durch Polarkoordinaten in Bezug auf Referenzpunkt (z.B.
Schwerpunkt): Lookup-Tabelle für Richtung und Abstand in Abhängigkeit
Grundlage ist die Konturpunkt-Richtung.
Erstellen einer Lookup-Tabelle mit c und rc in Abhängigkeit von K.
Für jeden Konturpunkt: Erhöhung des Kumulators in Enfernung rc in Richtung c.
K1
K2
c11
rc11
c12
rc12
c13
rc13
c21
rc21
c22
rc22
yc
y
o
o
o
x
xc
Darstellung im Frequenzraum
Ortsraum - Frequenzraum
Signale können als Überlagerung (Summe)
harmonischer Funktionen
mit Frequenzen w und
mit Amplituden F
dargestellt werden:
F(w): Darstellung im Frequenzraum
Diskrete Funktion y(x0, x1, ..., xN-1)wk
N 1
y( xi )   Fe (k ) cosw k  xi   Fo (k ) sin w k  xi ; w k  k
k 0
y(x)
Cosinus Funktionen
2
N
 2 k 
 2 k 
  Fe (k ) cos
xi   Fo (k ) sin
xi 
 N

 N

k 0
N 1
Diskrete Fourier-(Rück)Transformation
Frequenzraum-Darstellung gibt an,
mit welcher Stärke die jeweiligen
harmonische Funktionen im Signal vertreten sind.
5_Informationsgewinnung_StatBild Seite 55
Sinus Funktionen
Darstellung im Frequenzraum
Ortsraum - Frequenzraum
1 N 1
1
Fe (k )   y ( x) cosw x ; Fo (k )  
N x 0
N
Fe (k ) 
N 1
 y( x) sin w x ; w x  x
x 0
1
1
 2k 
y
(
x
)
cos
x
;
F
(
k
)





o
N x 0
N
 N 
N 1
 2k 
y
(
x
)
sin
x


 N 
x 0
N 1
Im Frequenzraum sind viele Operationen günstiger.
Alle linearen Operationen z.B.
Hochpass, Tiefpass, Bandpass und Bandsperre
mit hoher Güte
Erkennung periodischer Strukturen
Manipulation periodischer Strukturen
2k
N Analyse:
Transformation
Ortsraum  Frequenzraum
Signal y im Ortsraum, Abtastwerte y(i)
Nach einer Bearbeitung im Frequenzraum
Fe(k)→Fe~(k) und Fo(k)→Fo~(k)
kann wieder in den Ortsraum zurück transformiert werden.
2x
~
~
~
y ( x)   Fe (k ) cosw k   Fo (k ) sin w k ; w k  k
N
k 0
N 1
 2x 
 2x 
~
~
  Fe (k ) cos k

F
(
k
)
sin
 o
k

N
N




k 0
N 1
5_Informationsgewinnung_StatBild Seite 56
Synthese:
Transformation
Frequenzraum  Ortsraum
Darstellung im Frequenzraum
Ortsraum – Frequenzraum
Polare Notation – komplexe Schreibweise
1 N 1
1
Fe (k )   y ( x) cosw x ; Fo (k )  
N x 0
N
N 1
 y( x) sin w x ; w x  x
x 0
1 N 1
1
 2k 
Fe (k )   y ( x) cos x
; Fo (k )  
N x 0
N
 N 
F(k)
b(k)

a(k)
F (k ) 
F (k )
e
2
2k
N
 2k 
y
(
x
)
sin
x


 N 
x 0
N 1
 Fo (k ) 2 ; Amplitude (Magnitude)
 Fo (k ) 

 (k )  arctan
 Fe (k ) 
Komplexe Schreibweise
Fe (k )  F (k ) cos[ (k )]
Fo (k )  F (k ) sin[ (k )]
Phase
F (k )  F (k ) ei (k )
1 N 1
2k
F (k )   y( x)e iw x ; w x  x
;
N x 0
N
N 1
y( x)   F (k )eiw k ; w k  k
5_Informationsgewinnung_StatBild Seite 57
x 0
2x
N
Darstellung im Frequenzraum
Ortsraum – Frequenzraum
Filterung der abgetasteten Funktion y:
1. Analyse
N 1
1
1
Fe (k )   y ( x) cosw x ; Fo (k )  
N x 0
N
N 1
 y( x) sin w x ; w x  x
x 0
1 N 1
1
 2k 
Fe (k )   y ( x) cos x
;
F
(
k
)



o
N x 0
N
 N 
2.
Multiplikation mit Filterfunktion
Filterfunktion, Abtastwerte f(k)
3.
 2k 
y
(
x
)
sin
x


 N 
x 0
N 1
Synthese
~
Fe (k )  f (k )  Fe (k )
~
Fo (k )  f (k )  Fo (k )
N 1
2x
~
~
~
y ( x)   Fe (k ) cosw k   Fo (k ) sin w k ; w k  k
N
k 0
~
 2x  ~
 2x 
  Fe (k ) cos k
  Fo (k ) sin  k

 N 
 N 
k 0
N 1
5_Informationsgewinnung_StatBild Seite 58
2k
N
Darstellung im Frequenzraum
Ortsraum – Frequenzraum
Eigenschaften der Fourier-Transformation
Aus: Handbook of Computer Vision
5_Informationsgewinnung_StatBild Seite 59
Darstellung im Frequenzraum
Ortsraum – Frequenzraum
Eigenschaften der
Fourier-Transformation
Aus:5_Informationsgewinnung_StatBild
Handbook of Computer Vision
Seite 60
Darstellung im Frequenzraum
Ortsraum – Frequenzraum
Bezüglich Fourier-Transformation invariante Funktionen
Aus: Handbook of Computer Vision
5_Informationsgewinnung_StatBild Seite 61
Darstellung im Frequenzraum
Ortsraum – Frequenzraum
Wichtige Fourier-Transformationspaare
Aus: Handbook of Computer Vision
5_Informationsgewinnung_StatBild Seite 62
Darstellung im Frequenzraum
Ortsraum – Frequenzraum
2-Dimensionale diskrete Fourier-Transformation eines Grauwertbildes g(j,k)
1
g (u , v)  F g ( j , k ) 
N
N 1 N 1
 g ( j, k )  e

2i
( uj  vk )
N
j 0 k 0
1
1
g ( j , k )  F g (u , v) 
N
N 1 N 1
 g (u, v)  e
j 0 k 0
5_Informationsgewinnung_StatBild Seite 63

2i
( uj  vk )
N