Transcript Homogenní souřadnice

MASKS © 2004
Invitation to 3D vision
Část 1
Přehled a úvod
MASKS © 2004
Rekonstrukce z obrázků – Základní problém
Vstup: Odpovídající “rysy” v několika perspektivních obrázcích.
Výstup: Pozice kamery, kalibrace, reprezentace scény.
MASKS © 2004
Aplikace – Autonomní dálniční vozidla
MASKS © 2004
Aplikace – Bezposádkové letecké prostředky (UAVs)
Rate: 10Hz; Accuracy: 5cm, 4o
MASKS © 2004
Courtesy of Berkeley Robotics Lab
Aplikace – Real-Time virtuální vkládání objektů
MASKS © 2004
Invitation to 3D vision
UCLA Vision Lab
Aplikace – Real-Time Sportovní pokrytí
First-down line and virtual advertising
MASKS © 2004
Invitation to 3D vision
Princeton Video Image, Inc.
Aplikace – Modelování a vykreslování na základě obrázků
MASKS © 2004
Invitation to 3D vision
Image courtesy of Paul Debevec
Část 2
Geometrie obrázku
MASKS © 2004
Invitation to 3D vision
Přehled
3-D Euklidovský prostor & pohyb pevných objektů
• Souřadnice a souřadnicové rámce
• Pohyb pevných objektů a homogenní souřadnice
Geometrické modely kamer
• Model Pinhole kamery
Skutečné parametry kamery
• Z metrických k obrázkovým souřadnicím
Přehled značení
MASKS © 2004
Invitation to 3D vision
3-D Eiklidovský prostor- Kartézský souřadnicový systém
Standardní bázové vektory:
Souřadnice bodu
MASKS © 2004
v prostoru:
Invitation to 3D vision
3-D Euklidovský prostor- Vektory
“Volný” vektor je definován pomocí dvojice bodů:
Souřadnice vektoru:
MASKS © 2004
Invitation to 3D vision
3-D Euklidovský prostor– Skalární a vektorový součin
Skalární součin dvou vektorů:
Vektorový součin dvou vektorů:
MASKS © 2004
Invitation to 3D vision
Rotace
Matice rotace:
Maticový zápis rotace:
MASKS © 2004
Invitation to 3D vision
Rotace a posunutí
Maticový zápis:
Maticový zápis rychlostí:
MASKS © 2004
Invitation to 3D vision
RIGID-BODY MOTION – Homogenní souřadnice
3-D souřadnice jsou dány vztahem:
Homogenní souřadnice:
Homogenní souřadnice/rychlost jsou tedy popsány:
MASKS © 2004
Invitation to 3D vision
IMAGE FORMATION – Perspektivní zobrazení
“The Scholar of Athens,” Raphael, 1518
MASKS © 2004
Invitation to 3D vision
Image courtesy of C. Taylor
Tvorba obrazu– Model Pinhole kamery
Pinhole
Čelní
pinhole
MASKS © 2004
Invitation to 3D vision
Tvorba obrazu– Pinhole Camera Model
2-D souřadnice
Homogenní souřadnice
MASKS © 2004
Invitation to 3D vision
Parametry kamery– Pixelové souřadnice
prostorové
souřadnice
Lineární transformace
pixelové
souřadnice
MASKS © 2004
Invitation to 3D vision
Parametry kamery– Kalibrační matice a model kamery
Pinhole camera
Pixelové souřadnice
Kalibrační matice
(skutečné parametry)
Matice projekce
Model kamery
MASKS © 2004
Invitation to 3D vision
IMAGE FORMATION – Obraz bodu
Homogenní souřadnice prostorového bodu
Homogenní souřadnice jeho 2-D obrazu
Zobrazení prostorového bodu do roviny obrazu:
MASKS © 2004
Invitation to 3D vision
Tvorba obrazu– Obraz úsečky
Homogenní reprezentace prostorové úsečky
Homogenní reprezentace jejího 2-D obrazu
Projekce prostorové úsečky do roviny obrázku
MASKS © 2004
Invitation to 3D vision
Souhrn značení– Více obrazů
.
MASKS © 2004
Invitation to 3D vision
.
.
Část 3
Geometrie dvou pohledů
Invitation to 3D vision
Obecné zadání
Jsou dány dva obrazy scény,
úkolem je určit vzájemnou polohu
kamer a prostorovou strukturu
scény
MASKS © 2004
Invitation to 3D vision
Model Pinhole kamery
• 3D body
• Obrazové body
• Perspektivní projekce
• Pohyb pevných objektů
• Pohyb pevných objektů a perspektivní projekce
MASKS © 2004
Invitation to 3D vision
obrazy
MASKS © 2004
Invitation to 3D vision
pohybu
Euklidovksá transformace
Měřené hodnoty
neznámé
Hledáme takovou rotaci, posunutí a hloubku takové aby
chyba projekce byla minimální
Dva obrazy ~ 200 bodů
6 neznámých – Pohyb 3 Rotace, 3 Posunutí
- Struktura 200x3 souřadnic
- (-) universální váha
Obtížný optimalizační problém
MASKS © 2004
Invitation to 3D vision
Epipolární geometrie
Obrazová
korespondence
• Algebraická eliminace hloubky
• Essentiální matice
MASKS © 2004
Invitation to 3D vision
[Longuet-Higgins ’81]:
Epipolární geometrie
• Epipolar lines
• Epipoles
Obrazová
korespondence
MASKS © 2004
Invitation to 3D vision
matice
• Essentiální matice
speciální 3x3 matrix
Theorem 1a (Essential Matrix Characterization)
A non-zero matrix
is an essential matrix iff its SVD:
satisfies:
with
and
and
MASKS © 2004
Invitation to 3D vision
Odhadnutí essentiální matice
• Odhad essentiální matice
• Dekompozice essentiální matice na
• Je dáno n odpovídajících si bodů:
•Hledáme rotaci and posunutí takové, že epipolární chyba je minimální
• Prostor všech essentiálních matic je 5 dimensionální
• 3 stupně volnosti– rotace
• 2 stupně volnosti – posunutí (až na váhu)
MASKS © 2004
Invitation to 3D vision
essentiální matice
Essentiální matice
Theorem 1a (Určení polohy)
Existují dvě relativní polohy
,kde
odpovídající nenulové essentiální matici.
MASKS © 2004
Invitation to 3D vision
a
Odhad essentiální matice
• Označme
• Dosazením
• Dosazením všech bodů získáme
MASKS © 2004
Invitation to 3D vision
Odhad essentiální matice
Řešení
• Vlastní vektpor odpovídající nejmenšímu vlastnímu číslu
• když
degenerovaná configurace
Projekce do essentiálního prostoru
Theorem 2a (Project to Essential Manifold)
If the SVD of a matrix
is given by
then the essential matrix
which minimizes the
Frobenius distance
is given by
with
MASKS © 2004
Invitation to 3D vision
obrazy
• Řešení lieárního LLSE problému:
Následovaný projekcí
• Projekce do essentiálního prosotru:
SVD:
E is 5 diml. sub. mnfld. in
• bodový lineární algoritmus
• Určení neznámé polohy:
MASKS © 2004
Invitation to 3D vision
Rekonstrukce polohy
• Existují právě dvě dvojice
essentiální matici
.
odpovídající každé
• Posunutí je nenulové
• Body jsou v obecné poloze
- degenerovaný stav– komplanární body
- kvadratická plocha
• Lineární 8-bodový algoritmus
• Nonlineární 5-bodový algoritmus přináší až 10 řešení
MASKS © 2004
Invitation to 3D vision
3D rozpoznání struktury
• odstranění jedné váhy
• Řešení soustavy
Pokud je konfigurace nekritická, může být euklidovská struktura bodů a pohyb
kamery rekonstruována až na univerzální konstantu
MASKS © 2004
Invitation to 3D vision
Příklad – Dva obrazy
Přiřazení odpovídajících si bodů
MASKS © 2004
Invitation to 3D vision
geometrie
Pozice kamery
a
umístění bodů v prostoru
MASKS © 2004
Invitation to 3D vision
Rovinná úloha
• Rovina v souřadnicovém rámci první kamery
Obrazová
korespondence
Lineární zobrazení určující
vztah mezi dvěma
odpovídajícími body
MASKS © 2004
Invitation to 3D vision
Rozložení H




Algebraická eliminace hloubky
může být odhadnuta lineárně
Úprava matice
Rozložení H na 4 řešení

MASKS © 2004
Invitation to 3D vision
Závěr
Více informací naleznete v anglickém jazyce na adrese:
http://vision.ucla.edu/MASKS/
MASKS © 2004
Invitation to 3D vision