Transcript ボケを利用した距離計測
多重フォーカスカメラと符号化開口を 用いた実時間距離画像計測 京都大学大学院 情報学研究科 日浦慎作* 松山隆司 （*現 大阪大学大学院 基礎工学研究 科） Depth from Defocus ぼけ量の解析から距離を求める手法 Depth from Focusing 単一画像の解析 レンズを駆動し合焦点を 「ぼけを含む平面的写真」 受動的原理 - リアルタイム計測の可能性 探索 - 物理的駆動が介在 と，「立体的な被写体」の 小型・計量な計測装置の実現可能性 区別が付かない するため実時間計測に向 かない ２枚以上の異なるパラメータで得た画像から 距離を計算 (relative blurring analysis) Depth from Defocus 複数画像の相対解析 ぼけ量の解析から距離を 被写体のテクスチャによら （小型な多重フォーカスカメラが必要） 推定 ず解析が可能 - 実時間計測が可能 機械的駆動部がない 多重フォーカスカメラの構造 カラーCCDカメラを改造 各CCDを1mmづつ 光軸方向に移動 プリズムの再蒸着に よる分光特性の除去 通常の3CCDカメラと 同等の寸法／重量 テレセントリック光学系 通常の結像光学系 テレセントリック光学系 前焦点面に開口絞りを配置 像面間の像の大きさ／明度が等しく， ぼけ量だけが異なる DFD への応用：Nayar ら （参考文献 [7]） Depth from Defocus の問題点 ぼけ現象(=LPF)により画像上の情報が欠落 距離計測の安定性が低く，高品質な（ノイズの 少ない）画像が必要 例：Nayar らは ２５６ 枚の画像を入力／加算 テクスチャの種類や機器の調整に敏感 ぼけ現象の性質を，解析に適するように最適 化すれば，安定性が向上する可能性がある →瞳形状の構造化 構造化瞳を持つ 多重フォーカスカメラの構成要素 ぼけカーネルは瞳形状と相似な図形 カーネルの縮小率は被写体距離に応じて変化 構造化瞳を持つ多重フォーカスカメラ ぼけ生成の数学モデル ぼけの生成過程 1 x y im ( x, y) 2 a( 2 , 2 ) * s( x, y) km km km 原画像 s(x,y) 距離 u 畳み込み 畳み込み 畳み込み 合焦点 v ぼけカーネル a(x,y) k1倍縮小 k2倍縮小 k3倍縮小 入力画像 i1(x,y) 入力画像 i2(x,y) 入力画像 i3(x,y) v wm km f Ｗｍ：像面の位置 フーリエ変換を用いた距離推定 ぼけ生成過程のフーリエ変換 I m ( p, q) Am ( p, q, v) S ( p, q) すべての入力画像の組み合わせについて， 複数入力画像を用いた原画像成分の消去 入力画像同士を除算したもの（第１項）と， I ( p , q ) A ( p , q , v ) m m p, q： 空間周波数， v： 焦点の位置 ぼけモデル（第２項）の差が最小になるような v（焦点の位置）の値を探索する I n ( p, q) An ( p, q, v) 距離推定のための評価関数 I m ( p, q) Am ( p, q, v) 除算により共通因子（入力画像成分）が消去される r (v) An ( p, q, v) ( m , n ) s I n ( p, q ) 処理の流れ 残差の最小化→距離の推定 除算による原画像成分の除去 小領域切り出し＆FFT 原画像の復元 逆フィルタ計算 3 I m ( p, q) S ( p, q) Wm Am ( p, q, v) m 1 v：合焦点の位置 Wm：vから計算した重み 複数の画像から復元するため安定 ぼけカーネルが構造化されており，原画像の 情報が残存しているため復元が可能 開口形状に求められる性質(1) ゲイン 空間周波数 空間周波数特性が構造を持ち解析しやすい ぼけが大きくても高周波ゲインが落ちない 開口形状に求められる性質(2) 通常用いられ る円形開口は， 必ずしも適した 開口形状であ るとはいえない （美しいぼけを 生じさせるため に円形を採用） ぼけカーネルの形状（ホール直径を無視） 簡単な例：２ホール開口 1 a( x, y ) ( x c1 , y ) ( x c1 , y ) 2 ぼけカーネルの１次元フーリエ変換 Am (s, y) cos(2 c1 km s) ぼけカーネルのフーリエ変換は cos 関数 cos 関数の周期は物体距離によって変化 距離推定の安定性 距離値のずれに関する評価関数の変化 急峻な谷状の形状は，距離推定の安定性が高いことを示す 実験：入力画像 最後面CCD 中央CCD 最前面CCD 実験：復元された完全合焦画像 実験：復元された対象の形状 対象の三次元形状 完全合焦画像（部分） 畳み込みを利用した距離解析 画像の差が最小に なるような距離値を 探索する 通常の円形開口のような 単純な瞳形状を用いた場 合，距離の推定は困難 （例：ガウスぼけを２回施す 演算は，より大きな単一の ガウスぼけと等価である） →構造化瞳の有効性 光学的な畳込みと同じ 大きさのぼけを反対に 施すと，同一の画像が 得られる（畳込み演算 の可換性より） 原画像にぼけカーネルが 光学的に畳み込まれる 実験 距離 画像 入力画像 計測シーン 瞳形状の対称性 合焦点の前後で 畳み込まれる形 状が異なる （位相の相違） 距離の誤推定を減少することが できる 原点対称ではない 瞳形状 瞳形状の対称性と計測精度 入力画像 入力画像の記録を用いた動物体計測 ビデオディスクレコーダにRGB画像として記録 ＹＣ変換デジタル圧縮のため，RGBチャネル間 のクロストーク等の画質劣化が大きい 計測結果：指の動作 入力画像 距離画像 画像処理ハードウェアによる実時間計測 畳込みによる距離計測手法は，ハードウェア への実装が容易 並列画像処理ハードウェア IMAP-Vision を 用いて計算時間を計測 性能:256PE により計 10GIPS 理論上 25frames/sec の距離計算が可能 （現有ボードにRGB入力IFがないため，実測 実験は行っていない） まとめ 小型／計量な多重フォーカスカメラを製作 Depth from Defocus に構造化瞳を導入 安定な距離解析が可能となった FFT を応用した距離計測／完全合焦画像復元 畳込みを応用した距離計測 低品質な画像が利用可能なため，記録画像 の利用による動物体計測が実現できた ハードウェアにより実時間計測が可能である