Transcript Sv*telné pole

Jan Kučera
Co je světelné pole
Klasický obraz
Světelné pole
𝐸(𝑥, 𝑦)
𝐿(𝑥, 𝑦, směr)
Co je světelné pole
Parametry klasického obrazu
předmětová rovina
𝑦
objektiv
obrazová rovina
𝑥
𝑥
𝐸 𝑥 ⇢ 𝐸(𝑥, 𝑦)
Co je světelné pole
Parametry světelného pole
předmětová rovina
𝑢
𝑢
objektiv
obrazová rovina
𝑥
𝑥
𝐿 𝑥, 𝑢 ⇢ 𝐿(𝑥, 𝑦, 𝑢, 𝑣)
Co je světelné pole
Jak z něj získat klasický obraz
předmětová rovina
𝑢
𝑢
objektiv
𝑥
𝐹
obrazová rovina
𝑥
𝐸𝐹 𝑥, 𝑦 =
1
𝐹2
𝐿𝐹 𝑥, 𝑦, 𝑢, 𝑣 ⅆ𝑢 ⅆ𝑣
Co se světelným polem
Posun zobrazovací roviny
𝑢
𝑢
snímací rovina
obrazová rovina
𝑥
𝑥
Co se světelným polem
Posun zobrazovací roviny
𝑢
𝑢
𝑥
obrazová rovina
snímací rovina
𝑥
zkosení + projekce
Co se světelným polem
Posun zobrazovací roviny
𝑢
𝑢
objektiv
𝛼=
′
𝐹′
𝐹
′
𝐿𝐹′ 𝑥 , 𝑦 , 𝑢, 𝑣 = 𝐿𝐹
𝐹′
= 𝐿𝐹
𝑥′ − 𝑢
𝑦′ − 𝑣
𝑢+
,𝑣 +
, 𝑢, 𝑣
𝛼
𝛼
1
𝑥′
1
𝑦′
𝑢 1−
+ ,𝑣 1 −
+ , 𝑢, 𝑣
𝛼
𝛼
𝛼
𝛼
𝐹
𝑥′
obrazová rovina
𝑥′ − 𝑢
snímací rovina
𝑥′ − 𝑢
𝐸𝛼⋅𝐹
𝑥 ′, 𝑦 ′
1
= 2 2
𝛼 𝐹
𝐹
𝐹′
𝐿𝐹
𝑥′
𝑥
1
𝑥′
1
𝑦′
𝑢 1−
+ ,𝑣 1 −
+ , 𝑢, 𝑣 ⅆ𝑢 ⅆ𝑣
𝛼
𝛼
𝛼
𝛼
Co se světelným polem
Volba zobrazovací roviny
• změna hloubky ostrosti
• posun perspektivy
• 3D
Frekvenční doména světelného pole
Vztah mezi obrazem a světelným polem
𝑢
𝑥
𝑘𝑢
𝑘𝑥
Frekvenční doména světelného pole
Fourier Slice Theorem
ℱ 1 ∘ ℐ12 = 𝒮12 ∘ ℱ 2
ℱ2
𝐺 𝑥, 𝑦
𝔊 𝑢, 𝑣
2
𝑂(𝑛 log 𝑛)
ℐ12 ∘ ℛ𝜃
𝒮12 ∘ ℛ𝜃
𝑂(𝑛2 )
𝑂(𝑛)
𝑂(𝑛 log 𝑛)
𝑔𝜃 𝑥′
ℱ1
𝔤𝜃 𝑢′
Frekvenční doména světelného pole
Generalized Fourier Slice Theorem
−𝑇
ℬ
𝑁
𝑁
ℱ 𝑀 ∘ ℐ𝑀
∘ ℬ = 𝒮𝑀
∘ −𝑇 ∘ ℱ 𝑁
ℬ
ℱ𝑁
𝐺𝑁
𝑁
ℐ𝑀
∘ℬ
𝔊𝑁
𝑁
𝑂(𝑛 log 𝑛)
𝑁
𝑀
𝑂(𝑛 )
𝑂(𝑛 )
𝑂(𝑛𝑀 log 𝑛)
𝐺𝑀
ℱ𝑀
𝔊𝑀
𝑁
𝒮𝑀
ℬ −𝑇
∘ −𝑇
ℬ
Frekvenční doména světelného pole
Fourier Slice Photograph Theorem
Photographic Imaging Operator
𝒫𝛼 𝐿𝐹 𝑥 ′ , 𝑦 ′
1
= 2 2
𝛼 𝐹
𝐿𝐹
1
𝑥′
1
𝑦′
𝑢 1−
+ ,𝑣 1 −
+ , 𝑢, 𝑣 ⅆ𝑢 ⅆ𝑣
𝛼
𝛼
𝛼
𝛼
Fourier Photographic Imaging Operator
1
𝔓𝛼 = 2 𝒮24 ∘ ℬ𝛼−𝑇
𝐹
𝒫𝛼 = ℱ −2 ∘ 𝔓𝛼 ∘ ℱ 4
A photograph is the inverse 2D Fourier transform
of a dilated 2D slice in the 4D Fourier transform of the light field.
Frekvenční doména světelného pole
Filtered Light Field Imaging Theorem
𝒫𝛼 ∘ 𝒞ℎ4 = 𝒞𝑃2𝛼 ℎ ∘ 𝒫𝛼
𝐿𝐹
𝒫𝛼
𝐸𝛼⋅𝐹
𝐶ℎ4
4D jádro
𝒫𝛼
2D jádro
𝐶𝑃2𝛼 ℎ
𝐿𝐹
𝒫𝛼
𝐸𝛼⋅𝐹
Jak světelné pole zaznamenat
Optické prostředky
𝑢
předmětová rovina
objektiv
𝑢
𝑥
obrazová rovina
snímací rovina
𝑥
Jak světelné pole zaznamenat
Optické prostředky
Jak světelné pole zaznamenat
Parametry mikročoček
• velikost
𝑢
𝑥
𝑥
𝑢
• ohnisková vzdálenost
mikročočky
𝑓/4
𝑓/2.8
𝑓/4
𝑓/8
Jak světelné pole zaznamenat
Parametry mikročoček
• vzdálenost od snímací roviny
Jak světelné pole zaznamenat
Interpretace dat
𝑢
𝑦
𝑣
𝑥
Jak světelné pole zaznamenat
Interpretace dat
𝑦
𝑥
𝑢
𝑣
Jak světelné pole zaznamenat
Interpretace dat
𝑢
𝑦
𝑥
𝑣
Plenoptické fotoaparáty
raytrix ∞
Uvedení:
2011
Rozlišení pole:
5 Megarays
Rozlišení obrazu:
1 Megapixel
FPS:
15
http://www.raytrix.de/
•
•
•
•
•
•
snímání videa
výměnné objektivy
ruční nastavení
externí napájení
SDK
různé mikročočky
€ 3 000
Plenoptické fotoaparáty
Ruční konstrukce
Plenoptické fotoaparáty
Lytro
Uvedení:
2012
Rozlišení pole:
11 Megarays
Rozlišení obrazu:
1 Megapixel
FPS:
—
http://www.lytro.com/
•
•
•
•
•
bez možnosti videa
pevný objektiv (8× optický zoom, f/2.0)
expozice (1/16 – 1/250), ISO (75 – 3200) a clona automaticky
zatím minimální SW podpora
s překvapením
$
399
Plenoptické fotoaparáty
Lytro — co asi víte (hardware)
objektiv
sensor s mikročočkami
engine
Plenoptické fotoaparáty
Lytro — co možná nevíte (hardware)
Zoran‘s Camera On A Chip 6p
32-bit RISC
2100 mAh
Li-Ion
Marvell Avastar 88
W8787 SoC
dotykový
1,5“ LCD
128×128
Plenoptické fotoaparáty
Lytro — co možná nevíte (hardware)
•
•
•
•
RTC
orientace
akcelerometr
teploměry
Bayer CFA
Rozlišení sensoru:
Rozlišení obrazu:
Počet mikročoček:
Rozlišení mikročoček:
Vzdálenost od sensoru:
3280×3280 = 10,7 Mpx @ 12 bit
1080×1080 = 1,1 Mpx
328×393,6 = 129 100
10 px
Otočení: -0,006 rad
25 μm
Rozestup: 13,89 μm
Plenoptické fotoaparáty
Lytro — co asi víte (software)
Plenoptické fotoaparáty
Lytro — co možná nevíte (software)
Lytro.lytrolib
cameras
kalibrační soubory z fotoaparátů (970​ MB)
images
raw soubory (à 16 MB) a soubory pro sdílení (~1 MB)
thumbs
náhledy pro aplikaci (128×128 čb a 300×300 v barvě)
library.db
SQLite databáze importovaných souborů
Soubory rozděleny do balíčků:
8
4
4
32
velikost
typ
verze
velikost
název
data
Další zdroje
NG REN 2006.
Digital Light Field Photography. Disertační práce, Stanford University.
CHAI, J. TONG, X., CHAN, S.-C., AND SHUM, H.-Y. 2000.
Plenoptic sampling. In SIGGRAPH 00.
ADELSON, E. H., AND BERGEN, J. R. 1991.
The plenoptic function and the elements of early vision. In Computational Models
of Visual Processing, edited by Michael S. Landy and J. Anthodny Movshon.
Cambridge, Mass.: MIT Press.
ISAKSEN, A., MCMILLAN, L., AND GORTLER, S. J. 2000.
Dynamically reparameterized light fields. In SIGGRAPH 2000.