Transcript Adaptive IP Imaging の理論的検討

Adaptive IP Imagingの理論的検討
上田 健介†
小池 崇文 †‡
高橋 桂太 †
苗村 健†
†東京大学大学院情報理工学系研究科
‡日立製作所 システム開発研究所
Outline

背景
 自由視点画像合成
 Adaptive IP Imaging
 Adaptive IP Imagingの理論
 レンダリング結果
Future work
 結論

LIFLET:
Light Field Live with Thousands of Lenslets

撮像系にレンズアレイ（Lens Array）を用いた
実時間自由視点画像合成システム
撮像系
IP画像
自由視点画像
平面に配列したカメラアレイシステムと光学的に等価
 カメラアレイと比較すると、記録光線数は少ない一方で、
光線を密に記録可能・装置がコンパクト・スケール小の被写体に適す。

自由視点画像合成
撮影シーンを指定の視点から見た画像を合成する
 IP画像から推定した奥行き情報を用いて補間を行いレン
ダリング精度をあげている
 ただ、LensArrayを用いた系では合成品質の限界がみえ易
い（光線記録数がカメラアレイ系に比べて低いため）

レンズアレイ撮影系からの
自由視点画像合成の課題

シーン中の物体が奥行き推定不可能領域に入ると補間処
理ができず画質が低下。
 シーンに合わせてその都度光学系を調整する必要

物体が奥行き推定可能領域内であっても、
解像度が一定以上に保てる奥行き範囲は比較的狭い。
（カメラアレイ系に比べてシビアである）
合成画質 ∝ １－
Zv
Zv：視点の基準奥行き面からの距離
Zo
Zo：物体の基準奥行き面からの距離
奥行き推定可能 Zo>Zlimit
Zlimit ：定数
系の配置とIP画像の例
近景：奥行き推定不可能
遠景：サンプリング密度低
Variable-Focus Lens (VFL)



電圧により焦点を変更できるレンズ
機械駆動部をもたないため高速
大量生産が開始されたばかりの
ホットなデバイス
VFLはサンプリング光線の経路を
瞬時に変更できる強力なデバイス
VFLをアレイ化したもの（VFLA: VFL Array）を
従来の固定焦点のレンズアレイの代わりに用い
れば、現状の自由視点画像合成システムの課題
を解決できる
IP(conventional)
Nayer06
Adaptive IP(proposed)
Nayer06
Adaptive IP を用いた
自由視点画像合成の利点

IPを用いた自由視点画像合成の課題
 シーンに合わせてその都度光学系を調整する必要
 物体の許容奥行き範囲が狭い

Adaptive IPによる解決
3D ディスプレイ出力と
違い自由視点画像合
成出力は、出力光学
系と入力光学系の対
応が変則的であっても
かまわない点に注目
 Adaptive IPではVFLAによって光学系を素早く調整できる。
 シーンに応じて光線のサンプリング方法を適切に調整すれば、
○ 奥行き推定不可能領域に物体が入らないよう自動調整が可能
 設定の手間が省かれる
○ 物体の許容奥行き範囲を向上できる
 空間的な最適化。アレイ中の個々のレンズが特定目標に個別に適応。
 時間的な最適化。物体の移動に応じて即座に適応。
Adaptive IP Imaging の理論的検討
•空間中のどのような光線がカメラで記録できるのかを調べる
•奥行推定可能な撮影領域の導出
•サンプリングの最適化の方法の検討
仮想カメラアレイ
ｙ
ＶＦＬＡ中の各要素レンズ
を通る光線群は１点に収束。
この収束点にそれぞれ
仮想的なカメラがあると考える
レンズ個数に等しい台数のカメラで
構成されるカメラアレイと見なせる
要素レンズのレンズパワーdkが
ｚ
各々瞬時に制御できるので
各々１自由度で配置を再構成できる
仮想的なカメラアレイを実現できる
（系の自由度はレンズ個数に相当）
VFLA
（可変焦点レンズアレイ）
サンプリングされる光線の記述
ｙ
空間中のどのような光線が
記録できるのか？
Hk
Hk
r
y( 
) z  Hk  r
W Z (dk )
R
(−R < r < R)
ｚ
-W
Z(dk)
Z(dk) = W/(dkW −1)
光線空間への変換
ｙ
光線を２変数p,qで表現
（光線空間を定義）
y0=q
y1
q
y0-y1= p
ｚ
実空間の１光線は
光線空間の１点に対応
q=y0
1
p
p=y0-y1
光線空間への変換
ｙ
実空間の１点から
放射される光線の集合は、
光線空間の線分に対応
q
Y
q=Zp+Y
ｚ
Z
min(dy/dz)
max(dy/dz)
p
サンプリングされる光線の記述
q
ｙ
Hk
-W
y(
R
Hk+R
Z(dk)
Hk-R
ｚ
サンプリング直線
Hk
r

) z  Hk  r
W Z (dk )
(−R < r < R)
仮想カメラが記録する光線（直線）群が
光線空間の直線上の点群に変換された
p
Z(dk )
q  Z(dk )p  Hk (1
)
W
(Hk−R < q < Hk+R)
焦点変化とサンプリング光線変化
ｙ
q
-W
ｚ
p
レンズ焦点の変更は
光線空間上でサンプリング直線が
定点まわりに回転することに相当
仮想カメラアレイの記録光線空間
ｙ
q
Hk+1
Hk+1
Hk
S
S
ｚ
Hk
p
仮想カメラアレイが記録できる光線群の
光線空間での領域は理解しやすい形になる
→以降、図形上で理論的な解析をおこなう
q=-Wp
仮想カメラ配置への要請
仮想カメラの列Ckに妥当と思える制約を要請する
1. （効率性） Ck が位置する点を通る光線は
他のどのカメラCn|n ≠k も映さない．
2. （連続性） Ck−1 とCk+1 の両方に映る物点は必ずCk に映る．
光線空間の図形上で考えると、
図形の凸条件に相当することを示す。
要請１
Ck が位置する点を通る光線は
他のどのカメラCn|n ≠k も映さない．
q
上記要請が成り立たない状況とは、
光線空間のサンプリング線分の延長
（＝ Ck が位置する点を通る光線）が
他のサンプリング線分と交わること
（＝他のカメラで記録される）
これはすなわち、
サンプリング線分の端点を
結んでできる四角形が凸か否か
と解釈できる
要請不成立の例
q=-Wp
要請２
Ck−1 とCk+1 の両方に映る物点は必ずCk に映る
あるサンプリング線分Lkが
両隣のサンプリング線分Lk-1・Lk+1と
交わるすべての直線と、交わること
すなわち、サンプリング線分の
端点からなる６角形（左図）が
凸であることと解釈できる
奥行き推定可能条件
例えば奥行き推定可能に最も簡易な
ステレオマッチングを用いる場合、
最低でも２以上の仮想カメラに
被写体が記録されなければならない。
すなわち、
被写体物点からでる光線群
（＝光線空間における直線相当）
のうち最低でも異なる２光線が記録
（＝２以上のサンプリング線分と交差）
されることに相当する。
上記条件から、光線空間上で許され
る直線を求めれば、実空間で奥行き
推定可能な領域を求められる。
シーンに応じた光学系の最適化
可変焦点レンズを
どのような戦略で動かすか

奥行推定可能性の向上
（ある物点からでる光線を多く記録する
ほど精度があがる）
2. サンプリング密度の向上
（合成画像の精細さの向上）
1.

各レンズ焦点を制御することで、
被写体空間において部分的に上記の性質改善ができる。

様々な戦略が考えられるが、
今回は、シーン中の物体が最低限奥行き推定可能になる条件化で
サンプリング密度を可能な限り向上させる方法の戦略を実験した
実験
Conventional
仮想カメラ配置の一例
Proposed
Rendering比較（上：最適化前
下：最適化後）
自由視点合成例
Future work
Adaptive IPシステムを構築
 AIPの他の応用を検討

 オクルージョン回避
 超解像
結論
シーンに適応してIP画像を撮影する
Adaptive IP imagingを自由視点画像合成に
用いるにあたり、最適戦略を決定する上で
基礎となる理論的検討を行った。
 具体的には、光線空間上でＡＩＰの持つサ
ンプリング能力を解析し、奥行き推定可能
性がどのように決定されるかを示した。

ご清聴ありがとうございました。
レンズごとに可動仮想カメラができる
個々のVFLを独立
に制御すれば、
対応する仮想カメラ
を移動でき、
柔軟なカメラ配置が
可能になる。
可動仮想カメラ
本物のカメラ
レンズによるカメラの像
||
仮想カメラ
（仮想カメラがシーンを
撮影すると考える）
仮想カメラは
レンズの
焦点調節で
移動可能
Computational Photography
Nayar06
Programmable Imaging
 e.g. Controllable optics
 LCD
for lensless imaging
(Zomet06)

DMD
(Digital Micro mirror Devices)
 for HDR imaging
(Nayar06)
 Variable Focus Lens (VFL)
VFLの既存活用例
高速なオートフォーカス
 全焦点画像合成
 ３次元計測

 Depth from Focus (Shape from Focus)
VFLはサンプリング光線の経路を
瞬時に変更できる強力なデバイス
VFLを自由視点画像合成システムに導入すれば
現状のシステムの課題を解決できる
Electrowetting
citation from http://www.varioptic.com
SPEC example
citation from http://www.varioptic.com
-5[m-1] < 1/f < 13[m-1] (@ 33[v] < V < 46[v])
Application of VFL
to Integral Photography

What happen
if we substitute
static lens array
for VFLA?
VFLA (Variable-Focus Lens Array)
開口3mm
to array
幅7.8mm