Transcript PPT
Segmentation based Multi-View Stereo [email protected] [email protected] Seminar: 3D Rekonstuktion FU-Berlin - SoSe 2011 MVS allgemein vs. Segmentation Based MVS Generell gilt bei MVS → homogene Flächen sind problematisch (keine/wenig Features) Dieses Paper: o nutzt homogene Flächen o benötigt nur wenig Features pro Fläche o Flächen werden über Farbsegmentierung gefunden o "Nebenprodukt": gute Performance Annahme: o Flächen, homogen in Intensitaet und Farbe, bilden Flächen mit einheitlicher Normalen Pipeline / Inhalt • • • • Kamera-Kalibrierung Farbsegmentierung Initiale 3D-Seeds 3D-Segmente erstellen aus 1.Farbsegmenten und 3D Seeds 2.nicht zugeordneten Farbsegmenten • Oberflächenkonstruktion (PSR) Farbsegmentierung Eigenschaften: • Vorverarbeitungsprozess zur Bestimmung von aussagekräftigen Gruppierungen / Regionen des Bildes • vielseitig einsetzbar, wenn effizient berechenbar Ziel: • charakteristische homogene Regionen Probleme: • großflächige Farb- / Intensitätsverläufe • Regionen mit hohen Schwankungen → lokale Kriterien reichen nicht aus Farbsegmentierung graph-based image segmentation [8]: Farbsegmentierung - Bild als Graph Kantengewichte entsprechen Intensitätsdifferenzen Farbsegmentierung - Hauptkriterium Schmelzkriterium: DIFF(C1,C2) < MINT(C1,C2) ,mit MINT(C1,C2) = Min(INT(C1),INT(C2)) Farbsegmentierung - Algorithmus 3D Seeds 3D-Seeds durch guided matching Gegeben: • Bilder Ziel: • Initiale 3D-Seeds Schritte: 1. Features 2. Matching 3. Triangulation 4. Clustering 3D Seeds - Features • • • • • wähle Reference-Image Ir Rest: Target-Image It unterteile in Rechtecke guided matching Features pro Rechteck 3D Seeds - Features • • • • • wähle Reference-Image Ir Rest: Target-Image It unterteile in Rechtecke guided matching Features pro Rechteck 3D Seeds - Features • • • • • wähle Reference-Image Ir Rest: Target-Image It unterteile in Rechtecke guided matching Features pro Rechteck 3D Seeds - Features • • • • • wähle Reference-Image Ir Rest: Target-Image It unterteile in Rechtecke guided matching Features pro Rechteck 3D Seeds - Matching Matchende Features finden: • Feature in Ir auf epipolare Linie in It • NCC für alle Features der Linie • Match, wenn max. Korrelation von Ir zu It und umgekehrt 3D Seeds - Matching Matchende Features finden: • Feature in Ir auf epipolare Linie in It • NCC für alle Features der Linie • Match, wenn max. Korrelation von Ir zu It und umgekehrt 3D Seeds - Matching Matchende Features finden: • Feature in Ir auf epipolare Linie in It • NCC für alle Features der Linie • Match, wenn max. Korrelation von Ir zu It und umgekehrt 3D Seeds - Triangulation 3D-Seed erzeugen: • klassische StereoVision • Tiefeninformation aus Disparität 3D Seeds - Clustering Clustern: • viele 3D-Seeds für gleichen Punkt • Cluster von Seeds durch einen 3D-Seed ersetzen Segmentation Based MVS (SBMVS) Zusammenspiel der 3D-Seeds und der Farbsegmente Ziel: • 3D Segmente erstellen Schritte: 1. aus Farbsegmente und 3D Seeds 2. aus nicht zugeordneten Farbsegmenten SBMVS - Optimale 3D Segmente Zuordnung zwischen: • 3D Seed X • Farbsegment si SBMVS - Optimale 3D Segmente gegeben: • 3D Koordinate - Fixpunkt • 2D Form (Segment) gesucht: • Normalvektor n der Fläche / des Segments Normalvektor n über durchtesten abschätzen (pro Achsen zwischen 0° und 180° in 18° Schritten) SBMVS - Optimale 3D Segmente SBMVS - Optimale 3D Segmente im Detail: alle Pixel p aus si über n (und die epipolare Geometrie zwischen den Kameras) auf Targetbilder It abbilden SBMVS - Optimale 3D Segmente • Gradientenabstieg von bester Abschätzung aus • Abschätzung und Optimierung über alle Targetbilder It • genau ein 3D Segment pro Farbsegment SBMVS - freie Farbsegmente explored - unexplored - explored SBMVS - freie Farbsegmente • Schnittpunkt von r und dem benachbarten 3D Segment als neuer 3D Seed • Abschätzung und Optimierung von n => 3D Segment Oberflächkonstruktion mit PSR Poisson Surface Reconstruction gegeben: • Oberflächen-Samples gesucht: • 3D-Mesh umbauen Idee: • Indikatorfunktion: Aussen < 0 < Innen Hintergrund: • Poisson Gleichung: elliptische partitielle Differentialgleichung oft bei Randwertproblemen verwendet. Ähnlich zur Laplace-Gleichung. • Octree als Datenstruktur Poisson Surface Reconstruction • Octree erzeugen • Vektor-Feld • Indikator-Funktionen o Divergenz: Vector -> Scalar o Poisson-Gleichung lösen • Extrahiere Isofläche Poisson Surface Reconstruction • Octree erzeugen • Vektor-Feld • Indikator-Funktionen o Divergenz: Vector -> Scalar o Poisson-Gleichung lösen • Extrahiere Isofläche Poisson Surface Reconstruction • Octree erzeugen • Vektor-Feld • Indikator-Funktionen o Divergenz: Vector -> Scalar o Poisson-Gleichung lösen • Extrahiere Isofläche Poisson Surface Reconstruction • Octree erzeugen • Vektor-Feld • Indikator-Funktionen o Divergenz: Vector -> Scalar o Poisson-Gleichung lösen • Extrahiere Isofläche Poisson Surface Reconstruction • Octree erzeugen • Vektor-Feld • Indikator-Funktionen o Divergenz: Vector -> Scalar o Poisson-Gleichung lösen • Extrahiere Isofläche Was bisher geschah ... • Farbsegmentierung • Initiale 3D-Seeds • 3D-Segmente erstellen aus 1.Farbsegmente und 3D Seeds 2.nicht zugeordneten Farbsegmenten • Oberflächenkonstruktion (PSR) Ergebnisse Aussagen der Autoren: • Homogene Farb-Regionen werden gut erkannt • Genauigkeit mit anderen Verfahren vergleichbar • Gute Performance: 35 min vs 3h pro Bild Unsere Bewertung: • Vergleich der Performance relativ nichtssagend • Genauigkeit nur in einem nicht erklärten Plot erklärt • Algorithmen im Fließtext erklärt Besten Dank! Fragen? Resources Marc Pollefeys. Visual 3D Modeling from Images. University of North Carolina - Chapel Hill, USA. http://www.cs.unc.edu/~marc/tutorial/ [1] http://people.cs.uchicago.edu/~pff/segment/ [8] Pedro F. Felzenszwalb and Daniel P. Huttenlocher. Efficient graphbased image segmentation. In IJCV, 2004. [9] Y. Furukawa and J. Ponce. Accurate, dense, and robust multi-view stereopsis. In CVPR, pages 1–8, 2007. [10] C. Harris and M. Stephens. A combined corner and edge detector. In 4th Alvey Vision Conference, pages 147–151, 1998. [11] R. Hartley and A. Zisserman. Multiple view geometry in computer vision. In Cambridge University Press, 2003. [16] S. Kruglyak L. J. Heyer and S. Yooseph. Exploring expression data: Identification and analysis of coexpressed genes. In Genome Research, pages 9:1106–1115, 1999.