Transcript Generierung von Omnibildern

von Anne Schmidt, Cathleen Scharfe,
Denny Kuckei und Tino Mager


1. Ergebnisse Entzerrung
2. Probleme nach Entzerrung
◦ Welche? Wodurch? Was tun?

3. Weißabgleich
◦ Wozu? Womit? Wie? Wann?

4. Aneinanderfügen
◦ 4.1 Ausrichten
◦ 4.2 Überblenden


5. Beispielserie
6. Quellen
Durch Fischaugen-Linse verzerrte Aufnahme
Aufnahme nach Entzerrung
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
3/35


Fisheye-Algorithmus entzerrt horizontal und
vertikal  Ergebnis:
perspektivische Information geht verloren
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
4/35



Neuer Entzerrungsalgorithmus [1]  nur
horizontale Verzerrung korrigieren:
Perspektive bleibt erhalten
Vertikale Verzerrungen leider auch
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
5/35



Probleme, entzerrte Bilder aneinanderzufügen
Überlappungen, da Field-of-View der Linse
nicht genau 90°, sondern größer (97,4°)
Durch Verzerrungen Probleme mit Kanten an
Bildrändern
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
6/35
Probleme mit Kanten und Krümmungen an Bildrändern
Phänomen in aufgenommenen Bildern
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
7/35



Entzerrungsalgorithmus = Mathematik!
Verlangt absolute Genauigkeit
Jedoch Fehler durch
◦ Ungenauigkeit Position/Ausrichtung der Linse
◦ Ungenauigkeit Position/Ausrichtung CCD Chip
◦ Ausrichtung des Roboter (unebener Untergrund)

Angewandte Formeln können daher keine
perfekten Ergebnisse liefern
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
8/35



Fehlerquellen ermitteln und Roboter „lernen“
lassen, diese automatisch zu korrigieren 
über polynomiale Gleichungssysteme
möglich, aber sehr aufwendig
Ausrichtung der Bilder vor Aneinanderfügen
notwendig
Einzelbilder ineinander Überblenden, um
Überlappungen zu beheben
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
9/35


Durch unterschiedliche
Beleuchtungssituationen
 unterschiedliche Farbtemperatur der Bilder
Linkes Teilbild kühlere Farbtemperatur als rechtes Teilbild
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
10/35

Abgleich der Farbtemperaturen notwendig:
◦ besserer visueller Eindruck
◦ kräftigere Kontraste  bessere Detektion von
Kanten o.Ä.
◦ einheitlicher Bildeindruck nach Aneinanderfügen
Gleiche Farbtemperaturen in beiden Teilbildern
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
11/35

Weißabgleich in Roboterbildern einfach, da
weißer Rand als Fläche mit Referenzweiß
vorhanden  in allen Bildern
Cyan markierte Fläche für Referenzweiß
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
12/35



Ermitteln der Maximalwerte je Farbkanal im
Referenzbereich  liefert Rmax, Gmax, Bmax
Werte für volles Weiß gegeben:
Wr = Wg = Wb = 255
Berechnen der Korrekturfaktoren pro
Farbkanal:
Cr = Wr / Rmax
Cg = Wg / Gmax
Cb = Wb / Bmax
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
13/35


Farbkorrektur im Eingangsbild E mit
Korrekturfaktor C zu Ausgabebild A:
Ar = Cr * Er
Ag = Cg * Eg
Ab = Cb * Eb
Alle Pixel des Eingangsbildes durchlaufen und
Korrektur anwenden
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
14/35


Vor der Entzerrung  sicher, dass dann im
Referenzbereich auch wirklich weiße Fläche
vorhanden ist
Durch Entzerrung  möglich dass
Referenzweiß-Fläche aus Referenzbereich
„gezerrt“ wird
Referenzfläche links im verzerrten und rechts im entzerrten Bild
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
15/35


Durch Überbelichtung viele Bildbereiche
bereits weiß  Korrektur bringt nichts
Licht/Schatten in Teilbildern liefern kein
einheitliches Ergebnis im Gesamtbild 
Überblenden der Teilbilder nötig
Überbelichtung irreversibel
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
16/35

Ziele:
◦ Selektion und Zusammensetzung der Pixel,
welche zum Ergebnisbild gehören
◦ Überblenden der Pixel mit Minimum an
sichtbaren Übergängen, Unschärfe und
Artefakten/Aliasing (Ghosting)
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
17/35

Nur einige Bilder sind zusammenzufügen
◦ Ein Bild ist Referenzbild & alle Anderen auf das
Referenzkoordinatensystem abbilden

Wenn größeres Sichtfeld (>90 Grad)
◦ jedes Pixel vom Ergebnisbild in 3D-Punkt konvertieren
◦ auf Grundlage der Projektionsmatrix zurück auf
Ausgangsbild mappen
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
18/35

Ziel:
◦ Erstellen eines großen Bildes aus mehreren
kleineren Einzelaufnahmen
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
19/35

Ermitteln des Überlappungsbereiches zweier
Bilder per Hand, z.B. durch:
◦ Ausrechnen
◦ Abmessen
◦ Definieren

Bereich im Programm statisch festlegen
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
20/35

Pixelbasierte Methoden
◦ Bilder relativ zueinander verschieben
◦ Größtmögliche Übereinstimmung der Pixel suchen
◦ Direkter Vergleich von Pixeln oder Pixelblöcken
◦ Methoden




Error Metrics
Hierarchical Motion Estimation
Fourier-Based Alignment
Incremental Refinement
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
21/35



Durch Verschieben Platzierung der Bilder
ermitteln
Jede Pixelkombination miteinander
vergleichen
Bei Farbbildern Vergleich der einzelnen
Farbwerte oder der Bildhelligkeit
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
22/35

Beispiele:
◦ Robust Error Metrics
◦ Spatially Varying Weights
◦ Bias and Gain
◦ Korrelation
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
23/35




Erstellen einer „Image Pyramide“
-> hierarchischer Vergleich von groben bis
hin zu feinen Mustern/Blöcken
Innerhalb eines Levels: Full Search
Block mit geringster Abweichung:
Initialwert für nächstdarunterliegendes Level
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
24/35

Vorteil:
◦ Viel schneller

Nachteil
◦ Ineffektiv
◦ Signifikante Bilddetails können verloren gehen
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
25/35

Eigenschaftenbasierte Methoden
◦
◦
◦
◦
Beiden Bildern markante Eigenschaften entnehmen
Vergleichen
Übereinstimmungen ermitteln
-> geometrische Transformation der Bilder
abschätzbar
◦ Methoden
 Keypoint Detectors
 Feature Matching
 Geometric Registration
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
26/35
Keypoint Detectors
Feature Matching
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
27/35

Aufgabe
◦ Belichtungsunterschiede und Ausrichtungsunstimmigkeiten
kompensieren ohne zu sehr an Schärfe zu verlieren
◦ Übergang soll nahezu unsichtbar werden
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
28/35

Laplace-Pyramiden-Überblendung
◦ sich anpassende Breite anhand Frequenz (verschiedene
Level)
◦ Band-Pass Pyramide (Laplace) aus jedem Eingangsbild
◦ Interpolation und Zusammensetzen aller „Level“ der
Pyramide ergibt Ergebnisbild
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
29/35
Mittelwert
Gewichtung (Feathering)
Region of Difference
Pyramiden-Überblendung
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
30/35

Entzerrte Einzelbilder
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
31/35

Weißabgleich Einzelbilder
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
32/35

Ausrichten und Aneinanderfügen
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
33/35

Blenden
Guter Übergang
Problem durch Aliasing
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
34/35

Weißabgleich:
http://de.wikipedia.org/wiki/Wei%C3%9Fabgleich
http://de.wikibooks.org/wiki/
Digitale_bildgebende_Verfahren:_Digitale_Bilder#
Wei.C3.9Fabgleich

Aneinanderfügen
http://research.microsoft.com/pubs/70092/tr-2004-92.pdf

Quellen verfügbar unter:
[1]
http://www.altera.com/literature/wp/wp-01107-stitchfisheye-images.pdf
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
35/35