Transcript 基準画像 - 奈良先端科学技術大学院大学

全方位ステレオ画像センサによる
実環境の仮想環境への取り込み
戎野 聡一
山澤 一誠
竹村 治雄
横矢 直和
奈良先端科学技術大学院大学
研究の背景
広大な実環境を仮想環境内に
再構成する要求が高まっている
実環境の仮想環境内での表現手法
•イメージベーストレンダリング
蓄積画像から2D画像を提示
自由な視点移動が困難
•ポリゴンベーストレンダリング
視点移動が容易
３次元モデルの獲得が必要
従来の研究
ステレオ視
利点：計測対象が制限されない
欠点：計測対象が複数になると画像収集に多大な労力が必要
計測精度がカメラ間の距離に依存
本研究の目標と方針
広大な実環境をポリゴンベーストレンダリングの表
現方法を用いて３次元再構築する
•画像の収集に多大な労力を必要とする問題
全方位ステレオ画像センサを車に搭載して移動
•計測精度がカメラ間の距離に依存
二眼ステレオ視の距離とセンサを車に搭載し移動した際の
モーションステレオ視による距離を統合
六角錐ミラーを用いた全方位ステレオ画像センサ
構成
外観
六角錐ミラーを用いた
全方位ステレオ画像センサの特徴
特徴
センサ周囲の情景を高分解能で撮像可能
全周囲の情景をビデオレートで撮像可能
奥行き情報を獲得可能
センサのキャリブレーションが難しい
（円筒スクリーンに格子を投影してカメラ画像を調整
戎野ら， VR学会 第4回全国大会 ’９９）
本センサを移動させながら撮影を行うことで
効率良く実環境の画像を収集できる
本研究の目標と方針
広大な実環境をポリゴンベーストレンダリングの表
現方法を用いて３次元再構築する
•画像の収集に多大な労力を必要とする問題
全方位ステレオ画像センサを車に搭載して移動
•計測精度がカメラ間の距離に依存
二眼ステレオ視の距離と車に搭載し移動した際の
モーションステレオ視による距離を統合
二眼ステレオとモーションの距離の統合（提案手
法）
全方位ステレオ動画像
時系列逆方向へ特徴点追跡
時系列方向へ特徴点追跡
上下ステレオ間の
対応点探索
センサの移動量推定
センサの移動量推定
特徴点の距離推定
特徴点の距離推定
逆モーションステレオ視の距離
二眼ステレオ視による距離
特徴点の距離推定
モーションステレオ視の距離
ステレオとモーションの距離の統合
二眼ステレオ投影系
上部全周パノラマ画像
上下のパノラマ画像間の
二眼ステレオ視
o
Ｐ
ステレオマッチング
正規化相互相関テンプレートマッチング
二眼ステレオ視による距離
下部全周パノラマ画像
ワールド円筒座標系
二眼ステレオとモーションの距離の統合（提案手
法）
全方位ステレオ動画像
時系列逆方向へ特徴点追跡
時系列方向へ特徴点追跡
上下ステレオ間の
対応点探索
センサの移動量推定
センサの移動量推定
特徴点の距離推定
特徴点の距離推定
逆モーションステレオ視の距離
二眼ステレオ視による距離
特徴点の距離推定
モーションステレオ視の距離
ステレオとモーションの距離の統合
モーションステレオ投影系
三角測量の原理から実環境
中の距離を推定できる
センサの移動量を求める必要がある
特徴点追跡にはテンプレート
マッチングを使用する
センサの移動量
二眼ステレオとモーションの距離の統合（提案手
法）
全方位ステレオ動画像
時系列逆方向へ特徴点追跡
時系列方向へ特徴点追跡
上下ステレオ間の
対応点探索
センサの移動量推定
センサの移動量推定
特徴点の距離推定
特徴点の距離推定
逆モーションステレオ視の距離
二眼ステレオ視による距離
特徴点の距離推定
モーションステレオ視の距離
ステレオとモーションの距離の統合
特徴点追跡の問題点
カメラ間の境界
カメラのつなぎ目を境にして色・輝度が変化する
各カメラの色・輝度パラメータの違いに影響されない
正規化相互相関テンプレートマッチング
カメラ間の境界
f r1
f
境界
２
各カメラの色・輝度パラメータが違うため同じ
情景を撮像しても各カメラ画像で明度変化が
起きる
３
カメラ間の境界の位置が既知である
fr 2
境界
境界
境界
境界
テンプレート分割法（１）
 Case:１ 探索ウインドウにカメラ間の切れ目がかかっているとき
参照画像
ｔ+1
基準画像
ｔ
(x,y)
(X,Y)
境界
境界
探索ウインドウ
基準ウインドウ
相関値が知りたい
r1
r2
r1
r2
テンプレート分割法（２）
 Case:２ 基準ウインドウにカメラ間の切れ目がかかっているとき
参照画像
基準画像
ｔ
ｔ+1
(x,y)
(X,Y)
境界
r1
境界
r1
r2
r2
相関値が知りたい
基準ウインドウ
探索ウインドウ
テンプレート分割法（３）
 Case:3 基準ウインドウ、探索ウインドウ共にカメラ間の切れ目がかかっ
ているとき
ｔ+1
参照画像
基準画像
ｔ
(x,y)
(X,Y)
境界
境界
相関値が知りたい
r1
r2
r3
r1
r2
r3
カメラの色・輝度パラメータの違いを考慮
した正規化相互相関
基準ウインドウ
ｘ
探索ウインドウ
ｘ
正規化相互相関
ｙ
f
ｙ
g
カメラ画像毎にウインドウを部分画像に区切り、
部分画像毎に色・輝度の線形な明度変化を吸収する
二眼ステレオとモーションの距離の統合（提案手
法）
全方位ステレオ動画像
時系列逆方向へ特徴点追跡
時系列方向へ特徴点追跡
上下ステレオ間の
対応点探索
センサの移動量推定
センサの移動量推定
特徴点の距離推定
特徴点の距離推定
逆モーションステレオ視の距離
二眼ステレオ視による距離
特徴点の距離推定
モーションステレオ視の距離
ステレオとモーションの距離の統合
センサの移動量推定
正しい対応関係をもつ特徴点の情報は大部
分が正しいと仮定できる
正しい対応関係を持つ特徴点
センサの移動量
？
二眼ステレオ視による距離
モーションによる距離
二眼ステレオとモーションによる距離の差を評価値に
非線型最適化問題を解くことによってセンサの移動量を推定
整合のとれた特徴点の選択
移動後
移動前
オプティカルフロー
ス
テ
レ
オ
対
応
上部パノラマ画像
上部パノラマ画像
センサの移動
下部パノラマ画像
オプティカルフロー
下部パノラマ画像
ス
テ
レ
オ
対
応
二眼ステレオとモーションの距離の統合（提案手
法）
全方位ステレオ動画像
時系列逆方向へ特徴点追跡
時系列方向へ特徴点追跡
上下ステレオ間の
対応点探索
センサの移動量推定
センサの移動量推定
特徴点の距離推定
特徴点の距離推定
逆モーションステレオ視の距離
二眼ステレオ視による距離
特徴点の距離推定
モーションステレオ視の距離
ステレオとモーションの距離の統合
モーションとステレオ距離の統合
P
P
P
P
３つの距離の平均
逆モーションステレオ
二眼ステレオ
モーションステレオ
モーションとステレオ距離の統合
P
ステレオ視に近い
モーションの距離
逆モーションステレオ
P
P
二眼ステレオ
モーションステレオ
モーションとステレオ距離の統合
距離情報をもつ特徴点が偏って分布するため
均等に距離情報を付加する必要がある
統合された距離情報を持つ特徴点
二眼ステレオ視の距離情報を付加
する点
モーションステレオの距離情報を
付加する点
実験環境
移動撮影システム：
•１２台のビデオデッキ
•シンクジェネレータ
•タイムコードジェネレータ
撮影環境 ：
住宅街
実験条件
•入力画像
画像サイズ ７２０×４８６（画素） × １２（カメラ）
•生成した全周ステレオ動画像
６０フレーム（約２秒間）， 画像サイズ ３００６×３３０（画素）
•特徴点の選択
Sobelフィルターを使用， しきい値は経験的に決定
•オプティカルフロー
３０フレームを基点として ，前後３０フレームの間， 特徴点を追跡
実験結果
センサ移動量推定結果
時系列方向 0.63m， 時系列逆方向 0.59m
デローニー三角分割法によるポリゴン生成結果
総ポリゴン数 14,019 ポリゴン
まとめと今後の課題
まとめ
全方位ステレオ画像センサを使用することで効
率良く画像を収集した
モーションステレオの距離情報を付加することで
二眼ステレオ視による計測の信頼性を補った
今後の課題
剛体運動条件の付加
多地点モデルの統合
カメラ間の色・輝度変化に影響されない
正規化相互相関
Corr 
( f ( x, y)  f
x
y
r1,r 2,r 3
)   ( g ( x, y; u, v)  gr1,r 2,r 3 )
2
(
f
(
x
,
y
)

f
)

r1,r 2,r 3
x
y
x
y
2
(
g
(
x
,
y
;
u
,
v
)

g
)

r1,r 2,r 3
x
y
ピクセル位置(x,y)および(u,v)を含む部分画像に平均輝度
全方位画像センサのキャリブレーション
（川西らの手法）
レンズ歪み補正（Tsaiカメラキャリブレーション)
上下部カメラのレンズ中心が虚像上で重なる
ようにカメラを配置
隣接するカメラ画像間と上下カメラ画像間の位
置あわせ
微細な調整なため、手作業による調整は困難
円筒型スクリーンを用いたキャリブレーション方法
カメラ画像の位置が一意に決定可能
円筒パノラマ画像上で調整するため画像位置あ
わせが容易
ステレオパラメータの決定
上部、下部横線の画像位置の差は、視差に
等しい
K
L
dis
L：対象物体までの距離（メートル）
dis:上下カメラ間の対象物体の視差（画素)
K：距離定数
距離定数Kからパノラマ画像上の物体の距離を正確に推定可能
モーションとステレオ距離の統合
 時系列方向、時系列逆方向、ステレオ視による距離が近い
３つの距離の平均
 時系列方向、時系列逆方向のモーションステレオによる距
離のどちらか一方がステレオ視の距離に近い
ステレオ視の距離に近いモーションの距離
距離情報をもつ特徴点が偏って分布するために
正しいモデルが出来ない場合がある
•横方向のエッジ成分
二眼ステレオの距離
•縦方向のエッジ成分 ＋ ２つのモーションの距離の差が小さい
モーションの距離