Transcript ppt - Computer Vision und Pattern Recognition Group

Comparison of Interest Point Detectors
Vortrag im Rahmen des Seminars Ausgewählte Themen zu
„Bildverstehen und Mustererkennung“
Lehrstuhl:
Professor Dr. X. Jiang
Referenten:
Julian Hartmann,
Slawi Stesny und
Christoph Sünderkamp
Gliederung
1.
Grundlagen
2.
Algorithmen
3.
Implementierung
1
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
1. Grundlagen

Points of Interest

Digitale Bilder

Merkmalsextraktion

Transformationen
2
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Points of Interest


„interessante Punkte“  zielabhängig
Eigenschaften
–
–
–




Informativ
Wenige Punkte
Reproduzierbar & nachvollziehbar
Detektierte Punkte repräsentieren lokale Umgebung
Deskriptoren nutzen Punkte zur Lösung einer Aufgabe
Hier: Detektion von POIs
Häufig POIs  Eckpunkte bzw. Punkte, bei denen sich
die 2D Struktur signifikant ändert
3
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Beispielanwendung: Image Retrieval
4
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
…Beispielanwendung

Matching durch Vergleich lokaler Regionen
5
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Digitale Bilder

Pixel  Rasterdarstellung

Endlich, diskreter
Wertebereich
6
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Merkmalsextraktion

Kante genau zwischen zwei Pixelreihen
7
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Merkmalsextraktion

Kante schneidet eine Pixelreihe
8
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Merkmalsextraktion

Stufen-Kante genau zwischen den Pixelreihen
9
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Merkmalsextraktion

Stufen-Kante schneidet die Pixelreihen
10
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Intensitätsvektor
Lesevektor trifft orthogonal auf zwei unterschiedliche Kanten
11
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Kantentypen

Sprungkante – Dachkante - Linienkante
12
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Faltung




Durch Faltung werden die Eigenschaften von Bild-Merkmalen
hervorgehoben
Faltung wird mit Hilfe von Matrizen (Masken) durchgeführt
Eine Maske spiegelt die gesuchten Eigenschaften eines
Bildmerkmals wieder
Je genauer dies Maske auf den ausgewählten Bildabschnitt passt,
desto größer ist die Summe der Multiplikation (Elementweise).
Beispiel Masken
13
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Faltung

Beispiel:
elementweise Skalarmultiplikation
Bildausschnitt
14
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Intensitätsfunktion

Jeder Bildausschnitt hat für jede Maske eine Intensität

Intensitätsfunktion mit Masken
–
–
Lesevektor wird in einem Winkel über das Bild gelegt
anhand einer Maske wird die Intensitäten bestimmt
15
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Ableitung der Kantenfunktion

Am Wendepunkt befindet sich die Kante

Bildung der ersten Ableitung
–
Kante befindet sich beim lokalen Maximum
 Kante leichter zu erkennen
16
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Rauschen


Rauschen führt zu falschen Merkmalen
Filter glätten eine Bild

weniger falsche Merkmale
17
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Kantenreduktion

Non-Maximum Unterdrückung
–
–
Problem:
 Kante wird mehrfach gefunden
Ziel:
 Nur die kräftigste Kante soll dargestellt werden
18
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Kantenreduktion

Non-Maximum Unterdrückung
–
Lösung
 Alle orthogonal benachbarten Kanten die schwächer
ausgeprägt sind werden eliminiert.
19
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Schwellenwert

Einfache Schwellenwert-Operation
–
–
Oft nicht ausreichend
Es gibt verbesserte Versionen (Hysterese Schwellenwertoperation)
Beispiel :
Schwellenwert = 20
20
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Transformationen

Geometrisch
–

Lage von Punkten / Körpern in der Darstellungsebene wird
verändert
Fotometrisch
–
–
Änderung der Intensität der Bildpunkte
Betrifft Lichtwahrnehmung des menschlichen Auges
21
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Geometrische Transformationen


Pixelkoordinaten aus diskretem Wertebereich
Ungenauigkeiten durch Verschieben von Pixeln
–
Beispiel Rotation:
–
Rotierter Körper schneidet mehrere Pixel im Zielbild
Welchen Pixeln im Zielbild werden der Bildpunkte zugeordnet?
 Verlust von Bildinformationen
–

Translation, Skalierung, …
22
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Fotometrische Transformationen

darstellbare Intensitätswerte ebenfalls aus endlich,
diskretem Wertebereich
 verlustbehaftet
Ausgangsbild,
Helligkeits- und
Kontraständerung
23
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
2. Algorithmen

Harris

Kovesi

SUSAN
24
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Harris Detektor





Ecken sind Points of Interest
Detektion auf Basis von Itensitätswechseln
Kanten werden zu Ecken „verknüpft“
Bewertung jedes Bildpunktes bzgl. seiner Umgebung
Pixel repräsentiert seine Umgebung
25
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Harris Detektor


Gradient der Intensität
Approximiert durch Faltung mit Maske
 1 0 1
I x  B   1 0 1
 1 0 1


 1 1 1
I y  B   0 0 0 
 1 1 1 
Je für „x“- und „y“-Richtung der Pixelmatrix
Für alle Richtungen => Kovarianzmatrix
 I2x
M =
Ix Iy
IxIy 

I2y 
26
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Harris Detektor
Ix2
Iy2
Ixy
27
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Harris Detektor

Kovarianzmatrix M enthält alle
Intensitätsänderungen
 I2x
M =
Ix Iy


IxIy 

I2y 
Eigenvektoren zeigen in die
Richtung des stärksten
Anstiegs
sind beide Eigenvektoren (
und ) groß liegt eine Ecke
vor.
28
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Harris Detektor


Aus Eigenvektoren kann eine Bewertung der „Eckigkeit“
eines Punktes (bzw. seiner Umgebung) erstellt werden
Harris:
cornHarris      k  (   )
cornHarris  det(M )  k  spur(M )
cornHarris  (Ix 2  Iy2  (Ixy)2 )  k  (Ix 2  Iy2 )2

Noble:
cornNoble  (Ix  Iy  (Ixy) ) / (Ix  Iy  eps)
2
2
2
2
2
29
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Harris Detektor

Ausgangsbild

Mit Eckenbewertung
30
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Harris Detektor

Bewertung jedes Pixels nicht gewünscht:
–
–

Non-maximum-Unterdrückung
Schwellenwert-Hysterese
=> Nur ein POI innerhalb eines gewählten Radius.
31
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Kovesi

Problem
–

Kein optimaler Merkmalsdetektor vorhanden
Ziel
–
Verbesserung der gegebenen Algorithmen in den Punkten:
 Eindeutige Identifizierung der Merkmale
 Genauere Lokalisation
 Weniger Parameter Justierung
 Rauschkompensation
32
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Ansatz

Bilder werden durch die Fourierreihen-Transformation
ins Phasenmodell gebracht
33
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Dynamik der Fourier-Transformation

Funktion für die Transformation
Amplitudendämpfung
Phasenverschiebung
34
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Darstellung der Fourier-Transformation

3 unterschiedliche Amplitudendämpfung
180° Phasenverschiebung in
jedem Bild

Phasenverschiebung

–

Stärke der Ausprägung der
Merkmale
Amplitudendämpfung
–
Andere Klassifizierung
durch Änderung der Schärfe
Gittermodell
35
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Phasenkongruenz ( Deckungsgleichheit )

In Jedem Punkt des Phasenmodels
überdecken sich mehrere Phasen

Die Intensität ( Energie ) dieser Punkte
wird bei P.Kovesi mit der
„phase congruency 2“ (PC2) Funktion bestimmt
–
auch gewichtete mittlere Phasenverschiebung genannt
36
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Bestimmung der lokalen Energie

Energie der Vektoren im Punkt x
Vektorkette im komplexen Raum
37
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Auswertung von PC2

Die Ausgabe von PC2 liefert Werte zwischen 0 und 2Pi
( 360° )
–
–
–
–
–
0 aufsteigende Stufe
½ Pi helle Linie
Pi absteigende Stufe
3/2 Pi dunkle Linie
Es wird zwischen auf- /absteigend und hell/dunkel nicht
unterschieden ( Wertebereich bei der Auswertung
zusammengefasst )
38
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Phase Congruency 2

Eigenschaften
–
–
–
–
keine Parameter notwendig bei Kontrast-/ Helligkeits-Änderung
Verbesserte Identifizierung der Merkmale
 Zuordnung und Unterscheidung von Linien und Kanten
Verbesserte Lokalisierung der Merkmale
Kompensation von Rauschen
39
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
SUSAN Eckendetektor
Smallest
Univalue
Segments
Assimilating
Nucleus
40
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
USAN – Univalue Segments Assimilating Nucleus
41
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
…USAN


approximierte Kreisfläche mit 37 Pixeln
dem Kern ( r0 ) ähnliche Pixel werden abgezählt:

1 if I (r )  I (r0 )  t
c(r , r0 )  

0 if I (r )  I (r0 )  t
+
+ +
+ +
+ +
+
+
+
+
+
+
+
+
+
+
+
o
+
+
+
+
+
+
+
+
+
+
+
+ +
+ +
+ +
+
Kern
42
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
…USAN


Größe des USAN: n(r0 ) 
Beispiel:
 Größe = 34
+
+ +
+ +
+ +
+
+
+
+
+
+
+
+
+
+
+
o
+
+
+
+
+
+
+
+
+
+
+
+ +
+ +
+ +
+
 c(r , r )
0
r
 Größe = 13
Kern
+
+ +
+ +
+ +
+
+
+
+
+
+
+
+
+
+
+
o
+
+
+
+
+
+
+
+
+
+
+
+ +
+ +
+ +
+
43
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
SUSAN Principle

Aussagen über die Struktur anhand der USAN-Größe:
Der Kern liegt
– in einer Fläche bei maximalem USAN,
– auf oder nahe einer Kante, wenn das USAN die Hälfte des
maximalen Wertes annimmt und
– bei kleineren Werten innerhalb einer Ecke.

Richtlinie: Zur Detektion von Ecken und Kanten müssen
nur kleine USANs betrachtet werden  Smallest USAN
–
Fokus im Weiteren: SUSAN Eckendetektor
nmax

 g  n(r0 ) falls n(r0 )  g 
R(r0 )  
2

sonst
 0
44
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Ausnahmen
I. Zwischenstufen oder Linien
 Größe = 14
+
+ +
+ +
+ +
+
+
+
+
+
+
+
+
+
+
+
o
+
+
+
+
+
+
+
+
+
+
II. Rauschen
+
+ +
+ +
+ +
+
 Größe = 7
+ + +
+ + + + +
+ + + + + + +
+ + + o + + +
+ + + + + + +
+ + + + +
+ + +
45
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Bereinigung um falsche Einträge I.

Bei einer Ecke ist der Abstand vom Kern zum
Schwerpunkt des USAN groß, bei Linien klein
Schwerpunkt
+
+ +
+ +
+ +
+
+
+
+
+
+
+
+
+
+
+
o
+
+
+
+
+
+
+
+
+
+
+
+ +
+ +
+ +
+
+
+ +
+ +
+ +
+
+
+
+
+
+
+
+
+
+
+
o
+
+
+
+
+
+
+
+
+
+
+
+ +
+ +
+ +
+
46
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Bereinigung um falsche Einträge II.


Alle Punkte der Geraden durch Kern und Schwerpunkt
müssen Teil des USANs sein
Durch Rauschen treten Lücken innerhalb des USANs
auf
+ + +
+ + + + +
+ + +
+ + + + + + +
+ + + + +
+ + + o + + +
+ + + + + + +
+ + + + + + +
+ + + o + + +
+ + + + +
+ + + + + + +
+ + +
+ + + + +
+ + +
47
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Bedeutung der Parameter

Geometrischer Grenzwert g
–
Qualitativ: Welcher Punkt wird als Ecke erkannt?
nmax
n(r0 )  g 
2

Ähnlichkeitswert
–
t
Quantitativ: Ab welchem Intensitätswert gilt ein Punkt ähnlich
dem Kern?
I (r )  I (r0 )  t  25
48
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Anpassung der Indikatorfunktion

Die Indikatorfunktion c(r , r0 ) wird durch eine stetige
Funktion angenähert:
6
 I ( r ) I ( r ) 
c(r , r0 )  e


0
t


49
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Detektionsergebnis

Ecken werden durch Non-Maximum-Unterdrückung aus
der Matrix R herausgefiltert.
50
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
3. Implementierung

Testumgebung

Probleme

Auswertung

Präsentation
51
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Testumgebung


Untersuchung der Robustheit der Detektoren
Verschiedene Bildtransformationen
1.
2.
3.
4.

Rotation
Skalierung
Rauschen
Intensitätsänderungen
Vergleich der Detektionsergebnisse
1.
2.
3.
Genaue Übereinstimmung
Benachbarte Pixel
Nähere Umgebung
52
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Probleme



Transformationen nicht bijektiv
Randbetrachtung
Treppeneffekt:
Rotation 

Intensitätsübergänge durch Interpolation abgeschwächt
53
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Auswertung





Viele Störfaktoren erschweren Auswertung
Rauschen bereitete allen Detektoren Probleme
PC2 „invariant“ gegen Intensitätsänderungen
Überwiegend ähnliche Ergebnisse
Harris-Detektor benötigt deutlich weniger Rechenzeit
54
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Präsentation
55
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Literatur



Brady, J.M., Smith S.M.: SUSAN – A New Approach to Low Level
Image Processing, in International Journal of Computer Vision
23(1) S.45-78, Kluwer Academic Publishers, 1997
Kovesi, P.: Phase Congruency Detects Corners and Edges, School
of Computer Science & Software Engineering, University of
Western Australia, 2003
Stephens, M. J., Harris, C. G.: A combined corner and edge
detector, Plessey Research Roke Manor, United Kingdom, 1988
56
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Ende
Diskussion
[email protected] [email protected]
[email protected]
57
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de