Generierung von Omnibildern
Download
Report
Transcript Generierung von Omnibildern
von Anne Schmidt, Cathleen Scharfe,
Denny Kuckei und Tino Mager
1. Ergebnisse Entzerrung
2. Probleme nach Entzerrung
◦ Welche? Wodurch? Was tun?
3. Weißabgleich
◦ Wozu? Womit? Wie? Wann?
4. Aneinanderfügen
◦ 4.1 Ausrichten
◦ 4.2 Überblenden
5. Beispielserie
6. Quellen
Durch Fischaugen-Linse verzerrte Aufnahme
Aufnahme nach Entzerrung
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
3/35
Fisheye-Algorithmus entzerrt horizontal und
vertikal Ergebnis:
perspektivische Information geht verloren
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
4/35
Neuer Entzerrungsalgorithmus [1] nur
horizontale Verzerrung korrigieren:
Perspektive bleibt erhalten
Vertikale Verzerrungen leider auch
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
5/35
Probleme, entzerrte Bilder aneinanderzufügen
Überlappungen, da Field-of-View der Linse
nicht genau 90°, sondern größer (97,4°)
Durch Verzerrungen Probleme mit Kanten an
Bildrändern
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
6/35
Probleme mit Kanten und Krümmungen an Bildrändern
Phänomen in aufgenommenen Bildern
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
7/35
Entzerrungsalgorithmus = Mathematik!
Verlangt absolute Genauigkeit
Jedoch Fehler durch
◦ Ungenauigkeit Position/Ausrichtung der Linse
◦ Ungenauigkeit Position/Ausrichtung CCD Chip
◦ Ausrichtung des Roboter (unebener Untergrund)
Angewandte Formeln können daher keine
perfekten Ergebnisse liefern
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
8/35
Fehlerquellen ermitteln und Roboter „lernen“
lassen, diese automatisch zu korrigieren
über polynomiale Gleichungssysteme
möglich, aber sehr aufwendig
Ausrichtung der Bilder vor Aneinanderfügen
notwendig
Einzelbilder ineinander Überblenden, um
Überlappungen zu beheben
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
9/35
Durch unterschiedliche
Beleuchtungssituationen
unterschiedliche Farbtemperatur der Bilder
Linkes Teilbild kühlere Farbtemperatur als rechtes Teilbild
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
10/35
Abgleich der Farbtemperaturen notwendig:
◦ besserer visueller Eindruck
◦ kräftigere Kontraste bessere Detektion von
Kanten o.Ä.
◦ einheitlicher Bildeindruck nach Aneinanderfügen
Gleiche Farbtemperaturen in beiden Teilbildern
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
11/35
Weißabgleich in Roboterbildern einfach, da
weißer Rand als Fläche mit Referenzweiß
vorhanden in allen Bildern
Cyan markierte Fläche für Referenzweiß
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
12/35
Ermitteln der Maximalwerte je Farbkanal im
Referenzbereich liefert Rmax, Gmax, Bmax
Werte für volles Weiß gegeben:
Wr = Wg = Wb = 255
Berechnen der Korrekturfaktoren pro
Farbkanal:
Cr = Wr / Rmax
Cg = Wg / Gmax
Cb = Wb / Bmax
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
13/35
Farbkorrektur im Eingangsbild E mit
Korrekturfaktor C zu Ausgabebild A:
Ar = Cr * Er
Ag = Cg * Eg
Ab = Cb * Eb
Alle Pixel des Eingangsbildes durchlaufen und
Korrektur anwenden
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
14/35
Vor der Entzerrung sicher, dass dann im
Referenzbereich auch wirklich weiße Fläche
vorhanden ist
Durch Entzerrung möglich dass
Referenzweiß-Fläche aus Referenzbereich
„gezerrt“ wird
Referenzfläche links im verzerrten und rechts im entzerrten Bild
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
15/35
Durch Überbelichtung viele Bildbereiche
bereits weiß Korrektur bringt nichts
Licht/Schatten in Teilbildern liefern kein
einheitliches Ergebnis im Gesamtbild
Überblenden der Teilbilder nötig
Überbelichtung irreversibel
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
16/35
Ziele:
◦ Selektion und Zusammensetzung der Pixel,
welche zum Ergebnisbild gehören
◦ Überblenden der Pixel mit Minimum an
sichtbaren Übergängen, Unschärfe und
Artefakten/Aliasing (Ghosting)
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
17/35
Nur einige Bilder sind zusammenzufügen
◦ Ein Bild ist Referenzbild & alle Anderen auf das
Referenzkoordinatensystem abbilden
Wenn größeres Sichtfeld (>90 Grad)
◦ jedes Pixel vom Ergebnisbild in 3D-Punkt konvertieren
◦ auf Grundlage der Projektionsmatrix zurück auf
Ausgangsbild mappen
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
18/35
Ziel:
◦ Erstellen eines großen Bildes aus mehreren
kleineren Einzelaufnahmen
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
19/35
Ermitteln des Überlappungsbereiches zweier
Bilder per Hand, z.B. durch:
◦ Ausrechnen
◦ Abmessen
◦ Definieren
Bereich im Programm statisch festlegen
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
20/35
Pixelbasierte Methoden
◦ Bilder relativ zueinander verschieben
◦ Größtmögliche Übereinstimmung der Pixel suchen
◦ Direkter Vergleich von Pixeln oder Pixelblöcken
◦ Methoden
Error Metrics
Hierarchical Motion Estimation
Fourier-Based Alignment
Incremental Refinement
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
21/35
Durch Verschieben Platzierung der Bilder
ermitteln
Jede Pixelkombination miteinander
vergleichen
Bei Farbbildern Vergleich der einzelnen
Farbwerte oder der Bildhelligkeit
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
22/35
Beispiele:
◦ Robust Error Metrics
◦ Spatially Varying Weights
◦ Bias and Gain
◦ Korrelation
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
23/35
Erstellen einer „Image Pyramide“
-> hierarchischer Vergleich von groben bis
hin zu feinen Mustern/Blöcken
Innerhalb eines Levels: Full Search
Block mit geringster Abweichung:
Initialwert für nächstdarunterliegendes Level
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
24/35
Vorteil:
◦ Viel schneller
Nachteil
◦ Ineffektiv
◦ Signifikante Bilddetails können verloren gehen
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
25/35
Eigenschaftenbasierte Methoden
◦
◦
◦
◦
Beiden Bildern markante Eigenschaften entnehmen
Vergleichen
Übereinstimmungen ermitteln
-> geometrische Transformation der Bilder
abschätzbar
◦ Methoden
Keypoint Detectors
Feature Matching
Geometric Registration
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
26/35
Keypoint Detectors
Feature Matching
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
27/35
Aufgabe
◦ Belichtungsunterschiede und Ausrichtungsunstimmigkeiten
kompensieren ohne zu sehr an Schärfe zu verlieren
◦ Übergang soll nahezu unsichtbar werden
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
28/35
Laplace-Pyramiden-Überblendung
◦ sich anpassende Breite anhand Frequenz (verschiedene
Level)
◦ Band-Pass Pyramide (Laplace) aus jedem Eingangsbild
◦ Interpolation und Zusammensetzen aller „Level“ der
Pyramide ergibt Ergebnisbild
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
29/35
Mittelwert
Gewichtung (Feathering)
Region of Difference
Pyramiden-Überblendung
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
30/35
Entzerrte Einzelbilder
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
31/35
Weißabgleich Einzelbilder
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
32/35
Ausrichten und Aneinanderfügen
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
33/35
Blenden
Guter Übergang
Problem durch Aliasing
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
34/35
Weißabgleich:
http://de.wikipedia.org/wiki/Wei%C3%9Fabgleich
http://de.wikibooks.org/wiki/
Digitale_bildgebende_Verfahren:_Digitale_Bilder#
Wei.C3.9Fabgleich
Aneinanderfügen
http://research.microsoft.com/pubs/70092/tr-2004-92.pdf
Quellen verfügbar unter:
[1]
http://www.altera.com/literature/wp/wp-01107-stitchfisheye-images.pdf
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
35/35