Transcript Miyazaki-Microoptics2013(compressed)

偏光による形状推定および色の解析
宮崎大輔
Computer Graphics Laboratory, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
イントロ(1/2)
黒色形状(7)
透明形状(7)
反射CG(7)
コンピュータビジョン(CV)
現実世界
情報
偏光？
マルチスペクトル？
条件等色(7)
まとめ(2)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
コンピュータグラフィックス(CG)
デジタルデータ
画像
偏光？
マルチスペクトル？
コンピュータビジョンとコンピュータグラフィックス
イントロ(2/2)
黒色形状(7)
透明形状(7)
反射CG(7)
条件等色(7)
まとめ(2)
形状計測
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
色の解析
実写
1.視体積交差法と偏光を利用した鏡面物
体の三次元形状計測
3.偏光と反射モデルとウェーブレット圧縮
を利用した物体の見えの再現
光源A
2.偏光レイトレーシング法を用いた透明
物体の三次元形状計測
※この発表では偏光＝直線偏光
CG
光源B
4.メタメリズム生起のための油絵の具の
調合割合の算出
※この発表ではスペクトル＝分光スペクトル
本日のトピック
視体積交差法と偏光を利用した鏡面物体の
三次元形状計測
4つの話題のうちの1つ目
Computer Graphics Laboratory, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
イントロ(2)
黒色形状(1/7)
透明形状(7)
反射CG(7)
条件等色(7)
まとめ(2)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
形状計測
黒い
鏡面反射
複数視点で観測
偏光
→ 法線
視体積交差法 → ３次元座標
滑らかな黒色物体の形状計測
イントロ(2)
黒色形状(2/7)
透明形状(7)
反射CG(7)
方位角
条件等色(7)
まとめ(2)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
最小輝度の時の偏光角＝反射面＝法線の候補
法線の候補
偏光カメラ
反射面
部分偏光
偏光と法線の関係
非偏光
イントロ(2)
黒色形状(3/7)
透明形状(7)
反射CG(7)
条件等色(7)
まとめ(2)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
方位角2
方位角1
法線
カメラ2
カメラ1
反射面1
反射面2
物体表面
2視点以上から法線を一意に決定
イントロ(2)
黒色形状(4/7)
透明形状(7)
反射CG(7)
条件等色(7)
まとめ(2)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
カメラ
物体
対象物体の３次元形状
シルエットから
復元
視体積
画像
シルエット
復元される３次元形状
視体積交差法
イントロ(2)
黒色形状(5/7)
透明形状(7)
反射CG(7)
条件等色(7)
まとめ(2)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
一様光源
ライティングドーム
対象物体
回転台
24視点で撮影
偏光カメラ
実験装置
イントロ(2)
黒色形状(6/7)
透明形状(7)
反射CG(7)
条件等色(7)
まとめ(2)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
イントロ(2)
黒色形状(7/7)
透明形状(7)
反射CG(7)
条件等色(7)
まとめ(2)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
偏光レイトレーシング法を用いた透明物体
の三次元形状計測
4つの話題のうちの2つ目
Computer Graphics Laboratory, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
イントロ(2)
黒色形状(7)
透明形状(1/7)
反射CG(7)
条件等色(7)
まとめ(2)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
• 透明な物体の３次元形状を計測する
– 偏光を解析する
偏光解析
実透明物体
仮想透明物体
目的
イントロ(2)
黒色形状(7)
透明形状(2/7)
反射CG(7)
条件等色(7)
まとめ(2)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
光線の追跡
偏光状態の計算
ミュラー計算法
偏光レイトレーシング
イントロ(2)
黒色形状(7)
透明形状(3/7)
反射CG(7)
初期形状
条件等色(7)
まとめ(2)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
反復計算
形状を更新していく
2
min
入力正規化ストークスベクトル
（偏光カメラの計測結果）
計算された正規化ストークスベクトル
（偏光レイトレーシングを使用）
最終結果
形状計測アルゴリズム
イントロ(2)
黒色形状(7)
透明形状(4/7)
反射CG(7)
条件等色(7)
まとめ(2)
モノクロTVカメラ
カメラアダプタ
コンピュータ
IR/UVカットフィルタ
電動偏光板
ジオデジックドーム
プラスチック球
40Wランプ
偏光板コントローラ
内部に透明物体
計測装置コクーン
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
黒色形状(7)
イントロ(2)
透明形状(5/7)
条件等色(7)
まとめ(2)
初期形状
(従来法)
アクリル半球
屈折率 1.5
直径 30mm
3000   I E
反射CG(7)
誤差(高さ):2.8mm
誤差(法線):14
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
初期形状
(従来法)
 I R  dxdy
2
1500
0
25
誤差/ループ
50
50ループ
誤差(高さ):0.61mm
誤差(法線):7.0
実験結果
10ループ
イントロ(2)
黒色形状(7)
透明形状(6/7)
反射CG(7)
条件等色(7)
まとめ(2)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
ガラス(屈折率 1.5)
10ループ
初期形状(従来法)
実験結果
イントロ(2)
黒色形状(7)
透明形状(7/7)
反射CG(7)
条件等色(7)
初期形状
(手動設定)
推定形状
(10ループ)
実験結果
まとめ(2)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
偏光と反射モデルとウェーブレット圧縮を利用した
物体の見えの再現
4つの話題のうちの3つ目
Computer Graphics Laboratory, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
イントロ(2)
黒色形状(7)
透明形状(7)
反射CG(1/7)
条件等色(7)
まとめ(2)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
一
般
的
な
写
真
完全偏光
完全偏光
鏡面反射
非偏光
拡散反射
拡
散
反
射
成
分
鏡
面
反
射
成
分
偏光による反射成分の分離
イントロ(2)
黒色形状(7)
透明形状(7)
反射CG(2/7)
条件等色(7)
まとめ(2)
光源方向と法線（物体の向き）が
同じ向きのとき，最も明るくなる
コサイン関数により陰影を表現
拡散反射モデル
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
イントロ(2)
黒色形状(7)
透明形状(7)
反射CG(3/7)
条件等色(7)
まとめ(2)
鏡の方向のとき，最も明るくなる
ガウス関数（正規分布）
により艶っぽさを表現
鏡面反射モデル
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
イントロ(2)
黒色形状(7)
透明形状(7)
反射CG(4/7)
条件等色(7)
まとめ(2)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
レーザ距離計測装置
光源
対象物体
偏光板
カメラ
回転台
実験装置
イントロ(2)
黒色形状(7)
透明形状(7)
反射CG(5/7)
条件等色(7)
まとめ(2)
形状
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
画像
入力データ
イントロ(2)
黒色形状(7)
透明形状(7)
反射CG(6/7)
条件等色(7)
実験結果
まとめ(2)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
イントロ(2)
黒色形状(7)
透明形状(7)
反射CG(7/7)
条件等色(7)
まとめ(2)
その他の結果(5:1)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
メタメリズム生起のための油絵の具の調合
割合の算出
4つの話題のうちの3つ目
Computer Graphics Laboratory, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
イントロ(2)
黒色形状(7)
透明形状(7)
反射CG(7)
条件等色(1/7)
まとめ(2)
・絵画
・アトラクション
・広告
・透かし
同じ色に見える
光源1
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
違う色に見える
光源2
絵の具1
絵の具1
絵の具2
メタメリズムアート
絵の具2
イントロ(2)
黒色形状(7)
透明形状(7)
反射CG(7)
条件等色(2/7)
まとめ(2)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
脳
光源
赤(X)
緑(Y)
物体
網膜
色の知覚
青(Z)
錐体
イントロ(2)
黒色形状(7)
透明形状(7)
反射CG(7)
条件等色(3/7)
まとめ(2)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
X: 0.36
Y: 0.50
Z: 0.14
等色関数
(CIE-XYZ)
ライト1
絵の具1
X: 0.36
Y: 0.50
Z: 0.14
等色関数
(CIE-XYZ)
ライト1
絵の具2
スペクトル分布
イントロ(2)
黒色形状(7)
透明形状(7)
反射CG(7)
条件等色(4/7)
まとめ(2)
絵の具データベースD
絵の具の調合
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
混合割合w
イントロ(2)
黒色形状(7)
透明形状(7)
反射CG(7)
条件等色(5/7)
E1
Dw1
arg min
w1,w2
pE1Dw1
まとめ(2)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
E2
Dw1
Dw2
pE1Dw2
2
pE2Dw1
コスト関数最小化
Dw2
pE2Dw2
0.5
イントロ(2)
光源1
黒色形状(7)
透明形状(7)
R: 20
G: 108
B: 0
反射CG(7)
R: 7
G: 86
B: 5
条件等色(6/7)
まとめ(2)
光源2
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
R: 51
G: 82
B: 23
R: 110
G: 19
B: 16
混合塗料2
混合塗料1
実験結果
イントロ(2)
光源1
黒色形状(7)
透明形状(7)
反射CG(7)
条件等色(7/7)
まとめ(2)
光源2
実験結果
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
まとめ
Computer Graphics Laboratory, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
イントロ(2)
黒色形状(7)
透明形状(7)
反射CG(7)
条件等色(7)
まとめ(1/2)
形状計測
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
色の解析
実写
1.視体積交差法と偏光を利用した鏡面物
体の三次元形状計測
3.偏光と反射モデルとウェーブレット圧縮
を利用した物体の見えの再現
光源A
2.偏光レイトレーシング法を用いた透明
物体の三次元形状計測
CG
光源B
4.メタメリズム生起のための油絵の具の
調合割合の算出
本日のトピック
イントロ(2)
黒色形状(7)
透明形状(7)
反射CG(7)
条件等色(7)
まとめ(2/2)
CG Lab, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/
• 本日の内容
–
–
–
–
Daisuke Miyazaki, Takuya Shigetomi, Masashi Baba, Ryo Furukawa, Shinsaku Hiura, Naoki
Asada, "Polarization-based surface normal estimation of black specular objects from multiple
viewpoints," Proc. 3D Imaging, Modeling, Processing, Visualization & Transmission, pp. 104-111,
2012.
Daisuke Miyazaki, Katsushi Ikeuchi, "Shape estimation of transparent objects by using inverse
polarization raytracing," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 29,
no. 11, pp. 2018-2030, 2007.
Daisuke Miyazaki, Takushi Shibata, Katsushi Ikeuchi, "Wavelet-texture method: Appearance
compression by polarization, parametric reflection model, and Daubechies wavelet," International
Journal of Computer Vision, vol. 86, no. 2-3, pp. 171-191, 2010.
Daisuke Miyazaki, Kazuki Nakamura, Masashi Baba, Ryo Furukawa, Masahito Aoyama, Shinsaku
Hiura, Naoki Asada, "A first introduction to metamerism art," SIGGRAPH ASIA Posters, 2012.
• 偏光とコンピュータの様々な研究の紹介
– 宮崎 大輔, 池内 克史, "偏光の基礎理論とその応用," 情報処理学会論文誌 コンピュータビ
ジョンとイメージメディア, Vol. 1, No. 1, pp. 64-72, 2008.6
• ウェブページ
– http://www.cg.info.hiroshima-cu.ac.jp/~miyazaki/
発表文献
(c) Daisuke Miyazaki 2013
All rights reserved.
http://www.cg.info.hiroshima-cu.ac.jp/~miyazaki/
宮崎大輔, "偏光による形状推定および色の解析," 第127回微小
光学研究会, 東京, 2013年3月.
Computer Graphics Laboratory, Hiroshima City University
http://www.cg.info.hiroshima-cu.ac.jp/