ppt - Computer Vision und Pattern Recognition Group
Download
Report
Transcript ppt - Computer Vision und Pattern Recognition Group
Comparison of Interest Point Detectors
Vortrag im Rahmen des Seminars Ausgewählte Themen zu
„Bildverstehen und Mustererkennung“
Lehrstuhl:
Professor Dr. X. Jiang
Referenten:
Julian Hartmann,
Slawi Stesny und
Christoph Sünderkamp
Gliederung
1.
Grundlagen
2.
Algorithmen
3.
Implementierung
1
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
1. Grundlagen
Points of Interest
Digitale Bilder
Merkmalsextraktion
Transformationen
2
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Points of Interest
„interessante Punkte“ zielabhängig
Eigenschaften
–
–
–
Informativ
Wenige Punkte
Reproduzierbar & nachvollziehbar
Detektierte Punkte repräsentieren lokale Umgebung
Deskriptoren nutzen Punkte zur Lösung einer Aufgabe
Hier: Detektion von POIs
Häufig POIs Eckpunkte bzw. Punkte, bei denen sich
die 2D Struktur signifikant ändert
3
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Beispielanwendung: Image Retrieval
4
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
…Beispielanwendung
Matching durch Vergleich lokaler Regionen
5
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Digitale Bilder
Pixel Rasterdarstellung
Endlich, diskreter
Wertebereich
6
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Merkmalsextraktion
Kante genau zwischen zwei Pixelreihen
7
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Merkmalsextraktion
Kante schneidet eine Pixelreihe
8
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Merkmalsextraktion
Stufen-Kante genau zwischen den Pixelreihen
9
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Merkmalsextraktion
Stufen-Kante schneidet die Pixelreihen
10
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Intensitätsvektor
Lesevektor trifft orthogonal auf zwei unterschiedliche Kanten
11
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Kantentypen
Sprungkante – Dachkante - Linienkante
12
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Faltung
Durch Faltung werden die Eigenschaften von Bild-Merkmalen
hervorgehoben
Faltung wird mit Hilfe von Matrizen (Masken) durchgeführt
Eine Maske spiegelt die gesuchten Eigenschaften eines
Bildmerkmals wieder
Je genauer dies Maske auf den ausgewählten Bildabschnitt passt,
desto größer ist die Summe der Multiplikation (Elementweise).
Beispiel Masken
13
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Faltung
Beispiel:
elementweise Skalarmultiplikation
Bildausschnitt
14
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Intensitätsfunktion
Jeder Bildausschnitt hat für jede Maske eine Intensität
Intensitätsfunktion mit Masken
–
–
Lesevektor wird in einem Winkel über das Bild gelegt
anhand einer Maske wird die Intensitäten bestimmt
15
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Ableitung der Kantenfunktion
Am Wendepunkt befindet sich die Kante
Bildung der ersten Ableitung
–
Kante befindet sich beim lokalen Maximum
Kante leichter zu erkennen
16
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Rauschen
Rauschen führt zu falschen Merkmalen
Filter glätten eine Bild
weniger falsche Merkmale
17
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Kantenreduktion
Non-Maximum Unterdrückung
–
–
Problem:
Kante wird mehrfach gefunden
Ziel:
Nur die kräftigste Kante soll dargestellt werden
18
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Kantenreduktion
Non-Maximum Unterdrückung
–
Lösung
Alle orthogonal benachbarten Kanten die schwächer
ausgeprägt sind werden eliminiert.
19
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Schwellenwert
Einfache Schwellenwert-Operation
–
–
Oft nicht ausreichend
Es gibt verbesserte Versionen (Hysterese Schwellenwertoperation)
Beispiel :
Schwellenwert = 20
20
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Transformationen
Geometrisch
–
Lage von Punkten / Körpern in der Darstellungsebene wird
verändert
Fotometrisch
–
–
Änderung der Intensität der Bildpunkte
Betrifft Lichtwahrnehmung des menschlichen Auges
21
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Geometrische Transformationen
Pixelkoordinaten aus diskretem Wertebereich
Ungenauigkeiten durch Verschieben von Pixeln
–
Beispiel Rotation:
–
Rotierter Körper schneidet mehrere Pixel im Zielbild
Welchen Pixeln im Zielbild werden der Bildpunkte zugeordnet?
Verlust von Bildinformationen
–
Translation, Skalierung, …
22
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Fotometrische Transformationen
darstellbare Intensitätswerte ebenfalls aus endlich,
diskretem Wertebereich
verlustbehaftet
Ausgangsbild,
Helligkeits- und
Kontraständerung
23
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
2. Algorithmen
Harris
Kovesi
SUSAN
24
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Harris Detektor
Ecken sind Points of Interest
Detektion auf Basis von Itensitätswechseln
Kanten werden zu Ecken „verknüpft“
Bewertung jedes Bildpunktes bzgl. seiner Umgebung
Pixel repräsentiert seine Umgebung
25
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Harris Detektor
Gradient der Intensität
Approximiert durch Faltung mit Maske
1 0 1
I x B 1 0 1
1 0 1
1 1 1
I y B 0 0 0
1 1 1
Je für „x“- und „y“-Richtung der Pixelmatrix
Für alle Richtungen => Kovarianzmatrix
I2x
M =
Ix Iy
IxIy
I2y
26
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Harris Detektor
Ix2
Iy2
Ixy
27
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Harris Detektor
Kovarianzmatrix M enthält alle
Intensitätsänderungen
I2x
M =
Ix Iy
IxIy
I2y
Eigenvektoren zeigen in die
Richtung des stärksten
Anstiegs
sind beide Eigenvektoren (
und ) groß liegt eine Ecke
vor.
28
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Harris Detektor
Aus Eigenvektoren kann eine Bewertung der „Eckigkeit“
eines Punktes (bzw. seiner Umgebung) erstellt werden
Harris:
cornHarris k ( )
cornHarris det(M ) k spur(M )
cornHarris (Ix 2 Iy2 (Ixy)2 ) k (Ix 2 Iy2 )2
Noble:
cornNoble (Ix Iy (Ixy) ) / (Ix Iy eps)
2
2
2
2
2
29
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Harris Detektor
Ausgangsbild
Mit Eckenbewertung
30
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Harris Detektor
Bewertung jedes Pixels nicht gewünscht:
–
–
Non-maximum-Unterdrückung
Schwellenwert-Hysterese
=> Nur ein POI innerhalb eines gewählten Radius.
31
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Kovesi
Problem
–
Kein optimaler Merkmalsdetektor vorhanden
Ziel
–
Verbesserung der gegebenen Algorithmen in den Punkten:
Eindeutige Identifizierung der Merkmale
Genauere Lokalisation
Weniger Parameter Justierung
Rauschkompensation
32
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Ansatz
Bilder werden durch die Fourierreihen-Transformation
ins Phasenmodell gebracht
33
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Dynamik der Fourier-Transformation
Funktion für die Transformation
Amplitudendämpfung
Phasenverschiebung
34
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Darstellung der Fourier-Transformation
3 unterschiedliche Amplitudendämpfung
180° Phasenverschiebung in
jedem Bild
Phasenverschiebung
–
Stärke der Ausprägung der
Merkmale
Amplitudendämpfung
–
Andere Klassifizierung
durch Änderung der Schärfe
Gittermodell
35
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Phasenkongruenz ( Deckungsgleichheit )
In Jedem Punkt des Phasenmodels
überdecken sich mehrere Phasen
Die Intensität ( Energie ) dieser Punkte
wird bei P.Kovesi mit der
„phase congruency 2“ (PC2) Funktion bestimmt
–
auch gewichtete mittlere Phasenverschiebung genannt
36
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Bestimmung der lokalen Energie
Energie der Vektoren im Punkt x
Vektorkette im komplexen Raum
37
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Auswertung von PC2
Die Ausgabe von PC2 liefert Werte zwischen 0 und 2Pi
( 360° )
–
–
–
–
–
0 aufsteigende Stufe
½ Pi helle Linie
Pi absteigende Stufe
3/2 Pi dunkle Linie
Es wird zwischen auf- /absteigend und hell/dunkel nicht
unterschieden ( Wertebereich bei der Auswertung
zusammengefasst )
38
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Phase Congruency 2
Eigenschaften
–
–
–
–
keine Parameter notwendig bei Kontrast-/ Helligkeits-Änderung
Verbesserte Identifizierung der Merkmale
Zuordnung und Unterscheidung von Linien und Kanten
Verbesserte Lokalisierung der Merkmale
Kompensation von Rauschen
39
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
SUSAN Eckendetektor
Smallest
Univalue
Segments
Assimilating
Nucleus
40
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
USAN – Univalue Segments Assimilating Nucleus
41
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
…USAN
approximierte Kreisfläche mit 37 Pixeln
dem Kern ( r0 ) ähnliche Pixel werden abgezählt:
1 if I (r ) I (r0 ) t
c(r , r0 )
0 if I (r ) I (r0 ) t
+
+ +
+ +
+ +
+
+
+
+
+
+
+
+
+
+
+
o
+
+
+
+
+
+
+
+
+
+
+
+ +
+ +
+ +
+
Kern
42
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
…USAN
Größe des USAN: n(r0 )
Beispiel:
Größe = 34
+
+ +
+ +
+ +
+
+
+
+
+
+
+
+
+
+
+
o
+
+
+
+
+
+
+
+
+
+
+
+ +
+ +
+ +
+
c(r , r )
0
r
Größe = 13
Kern
+
+ +
+ +
+ +
+
+
+
+
+
+
+
+
+
+
+
o
+
+
+
+
+
+
+
+
+
+
+
+ +
+ +
+ +
+
43
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
SUSAN Principle
Aussagen über die Struktur anhand der USAN-Größe:
Der Kern liegt
– in einer Fläche bei maximalem USAN,
– auf oder nahe einer Kante, wenn das USAN die Hälfte des
maximalen Wertes annimmt und
– bei kleineren Werten innerhalb einer Ecke.
Richtlinie: Zur Detektion von Ecken und Kanten müssen
nur kleine USANs betrachtet werden Smallest USAN
–
Fokus im Weiteren: SUSAN Eckendetektor
nmax
g n(r0 ) falls n(r0 ) g
R(r0 )
2
sonst
0
44
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Ausnahmen
I. Zwischenstufen oder Linien
Größe = 14
+
+ +
+ +
+ +
+
+
+
+
+
+
+
+
+
+
+
o
+
+
+
+
+
+
+
+
+
+
II. Rauschen
+
+ +
+ +
+ +
+
Größe = 7
+ + +
+ + + + +
+ + + + + + +
+ + + o + + +
+ + + + + + +
+ + + + +
+ + +
45
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Bereinigung um falsche Einträge I.
Bei einer Ecke ist der Abstand vom Kern zum
Schwerpunkt des USAN groß, bei Linien klein
Schwerpunkt
+
+ +
+ +
+ +
+
+
+
+
+
+
+
+
+
+
+
o
+
+
+
+
+
+
+
+
+
+
+
+ +
+ +
+ +
+
+
+ +
+ +
+ +
+
+
+
+
+
+
+
+
+
+
+
o
+
+
+
+
+
+
+
+
+
+
+
+ +
+ +
+ +
+
46
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Bereinigung um falsche Einträge II.
Alle Punkte der Geraden durch Kern und Schwerpunkt
müssen Teil des USANs sein
Durch Rauschen treten Lücken innerhalb des USANs
auf
+ + +
+ + + + +
+ + +
+ + + + + + +
+ + + + +
+ + + o + + +
+ + + + + + +
+ + + + + + +
+ + + o + + +
+ + + + +
+ + + + + + +
+ + +
+ + + + +
+ + +
47
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Bedeutung der Parameter
Geometrischer Grenzwert g
–
Qualitativ: Welcher Punkt wird als Ecke erkannt?
nmax
n(r0 ) g
2
Ähnlichkeitswert
–
t
Quantitativ: Ab welchem Intensitätswert gilt ein Punkt ähnlich
dem Kern?
I (r ) I (r0 ) t 25
48
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Anpassung der Indikatorfunktion
Die Indikatorfunktion c(r , r0 ) wird durch eine stetige
Funktion angenähert:
6
I ( r ) I ( r )
c(r , r0 ) e
0
t
49
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Detektionsergebnis
Ecken werden durch Non-Maximum-Unterdrückung aus
der Matrix R herausgefiltert.
50
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
3. Implementierung
Testumgebung
Probleme
Auswertung
Präsentation
51
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Testumgebung
Untersuchung der Robustheit der Detektoren
Verschiedene Bildtransformationen
1.
2.
3.
4.
Rotation
Skalierung
Rauschen
Intensitätsänderungen
Vergleich der Detektionsergebnisse
1.
2.
3.
Genaue Übereinstimmung
Benachbarte Pixel
Nähere Umgebung
52
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Probleme
Transformationen nicht bijektiv
Randbetrachtung
Treppeneffekt:
Rotation
Intensitätsübergänge durch Interpolation abgeschwächt
53
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Auswertung
Viele Störfaktoren erschweren Auswertung
Rauschen bereitete allen Detektoren Probleme
PC2 „invariant“ gegen Intensitätsänderungen
Überwiegend ähnliche Ergebnisse
Harris-Detektor benötigt deutlich weniger Rechenzeit
54
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Präsentation
55
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Literatur
Brady, J.M., Smith S.M.: SUSAN – A New Approach to Low Level
Image Processing, in International Journal of Computer Vision
23(1) S.45-78, Kluwer Academic Publishers, 1997
Kovesi, P.: Phase Congruency Detects Corners and Edges, School
of Computer Science & Software Engineering, University of
Western Australia, 2003
Stephens, M. J., Harris, C. G.: A combined corner and edge
detector, Plessey Research Roke Manor, United Kingdom, 1988
56
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de
Ende
Diskussion
[email protected] [email protected]
[email protected]
57
WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group
http://cvpr.uni-muenster.de