Transcript Photometric Stereo

位相スタンプ型レンジファインダに基づく
実時間三次元形状獲得とレンダリング
大阪電気通信大学
2008年9月25日
来海 暁
第25回センシングフォーラム，佐賀大学本庄キャンパス
三次元物体の形状・テクスチャの獲得
• 物体・シーンの計測・認識，画像生成
‒ ビデオカメラ利用の場合
低次情報
高次情報
三次元形状
低解像・低精度 高解像・高精度
テクスチャ
明暗画像
カラー画像
必要フレーム数 少（短時間）
双方向反射率分布関数（BRDF）
分光反射率
多（長時間）
• 実時間での用途
– 計測・認識・・・変形・運動物体，車載用途
– 画像生成・・・遠隔地間での共同作業，物品鑑賞
• 高次の反射率情報・・・実時間計測が困難
– BRDF・・・光の入射方向・計測方向を変化
– 分光反射率・・・波長掃引
三次元物体の形状・テクスチャの獲得
• 物体・シーンの計測・認識，画像生成
‒ ビデオカメラ利用の場合
低次情報
高次情報
三次元形状
低解像・低精度 高解像・高精度
テクスチャ
明暗画像
カラー画像
必要フレーム数 少（短時間）
双方向反射率分布関数（BRDF）
分光反射率
多（長時間）
• 実時間での用途
– 計測・認識・・・変形・運動物体，車載用途
– 画像生成・・・遠隔地間での共同作業，物品鑑賞
• 高次の反射率情報・・・実時間計測が困難
– BRDF・・・光の入射方向・計測方向を変化
– 分光反射率・・・波長掃引
研究の背景と目的
• 三次元計測の実時間化
光切断法
パターン投影法
光伝播時間法
– 光切断法＋スマートセンサ→フレームレートで距離画像生成
– シート照明の入射時刻（タイムスタンプ）検出
• Gruss et al. (1991)，Kang et al. (1994)，Yokoyama et al. (1994)，etc.
– シート照明の入射位置検出＋高速フレームレート＋明暗画像
• Oike et al. (2003)
• 位相スタンプ型レンジファインダ
– 光切断法＋時間相関イメージセンサ
• 来海，安藤 (2006)
– 明暗画像も同時に獲得
– 背景光の時間・空間変動，反射率の空間勾配に影響されない
• 本研究・・・位相スタンプ型レンジファインダに基づく実時間ビ
ジョンシステム
– 入力・・・フレームレートでの距離画像・明暗画像獲得
– 出力・・・フレームレートでの任意視点画像生成
発表内容
• 研究の背景と目的
• 位相スタンプ型レンジファインダ
–
–
–
–
時間相関イメージセンサ
位相スタンプ映像法
実時間レンジファインダの原理
構築システム
• 任意視点画像の生成
– メッシュデータの生成とレンダリング
– 全周モデリングへの応用
• 実験結果
– 精度評価
– 運動・変形物体の獲得と表示
– 全周データの獲得と表示
• まとめ
時間相関イメージセンサ
全画素共通の参照信号
入射光強度
1フレーム
出力
S. Ando and A. Kimachi,
IEEE Trans. ED (2003)
時間相関
平均強度
位相スタンプ型レンジファインダ
来海，安藤，
第25回センシングフォーラム（2006）
反射率
シート照明
全エネルギー
•
入射光強度
背景光強度
入射時刻
•
三相正弦波参照信号
：フレームレート
投射角
位相スタンプ映像法
シート照明光入射
入
射
光
強
度
参
照
信
号
参
照
信
号
位
相
1フレーム1回のシート照明光走査で
位相スタンプ画像を生成
シ
ー
ト
照
明
投
射
角
位相スタンプ
フレームレートでの距離・明暗画像生成
1フレーム
センサ出力
位相接続
位相スタンプ画像
投射角
画像
画像生成
背景光
シート照明光
明暗画像
全入射光
明暗画像
・反射率
の影響を受けない
距離画像
構築システム
項目
仕様
時間相関
イメージ
センサ
三相型30mm角
200×200画素
CMOS 0.35mm 2P3M
フレーム
レート
12.5fps
参照信号
周波数
50Hz
走査鏡往
復周波数
25Hz
レーザ
DPSS，40mW，659nm
カメラレン 25mm F1.4
ズ
走査鏡
レンズ
DPSSレーザ
時間相関
カメラ
順
逆
順
参照信号
シート照明光
投射角
1フレーム
対象
物体
逆
+p/2
p
@400mm
0
撮像例
-p/2
人
形
の
焼
物
シート光明暗画像
ス
プ
レ
ー
缶
位相スタンプ画像
距離画像の
3Dプロット
@400mm
センサ出力の較正
白
色
平
板
シート光明暗画像
位相スタンプ画像
距離画像の3Dプロット
うねり・雑音除去
@400mm
センサ出力の較正
白
色
平
板
シート光明暗画像
位相スタンプ画像
距離画像の3Dプロット
うねり・雑音除去
@400mm
三次元計測の精度
白
色
平
板
シート光明暗画像
位相スタンプ画像
較正前
系統誤差[mm]
距離画像の3Dプロット
較正後
-6.07
-8.33
うねり[mm]
（低域成分）
3.17
0.42
ばらつき[mm]
（高域成分）
1.01
0.49
（中央150×150画素）
任意視点画像の生成
センサ出力画像獲得
出力較正
距離画像・明暗画像生成
飽和・低輝度画素除去
メッシュ生成
テクスチャ付与
描画
•明暗画像のテクスチャマッピング
•法線ベクトル分布
•反射モデルに基づくレンダリング
•OpenGL
•マウスによる視点移動
•テクスチャ切り替え
グラフィック性能
項目
仕様
CPU
Intel Core 2 Duo E6750 2.66GHz
メモリ
2GB
グラフィックボード
NVIDIA GeForce 8600GT 256MB
OS
Windows Vista Business
開発環境
Visual C++ 6.0
グラフィックライブラリ OpenGL 1.1
頂点数（最大）
40,000
三角板数（最大）
79,202
システム動作例
変形・運動物体（手指）の撮像と表示
全周モデリングへの応用
較正物体の撮像
回転軸の推定
全周？
no
回転
較正
物体
対象物体の撮像
回
転
台
市販レンジファインダ
用キット
メッシュ統合
yes
全周データの獲得と表示
平板@400mm
画像生成に要する時間
センサ出力画像獲得
250ms
出力較正
63ms
距離画像・明暗画像生成
46ms
飽和・低輝度画素除去
メッシュ生成
200×200画素，12.5 fps
ADC on PCI
Windows Vista Business
Core2 Duo 2.66GHz，2GB
? ms
320×256画素，22.9 fps
ADC on USB
Windows XP
125ms
テクスチャ付与
描画
0ms
484ms (2.06 fps)
入力を高速化
まとめ
• 位相スタンプ型レンジファインダにおいて，実時間での三
次元形状獲得と任意視点画像レンダリングを実装
–
–
–
–
–
時間相関イメージセンサ・・・200×200画素，12.5 fps
三次元計測精度・・・ばらつき0.49mm，うねり0.42mm @ 400mm
変形・運動物体への適用
全周データの獲得と表示
画面更新レート・・・2.1 fps
• 課題
–
–
–
–
–
表示時間の短縮
三次元計測精度のさらなる改善
全周モデリングの精度向上
シート照明光強度分布の補正と反射率の抽出
カラー画像の取得・・・3chカメラ