Transcript Document

第５回
両眼立体視と明るさ解析
Marr のパラダイム
世界座標系表現
3D 表現
観測者中心座標系表現
2-1/2D 表現
融合・内そう
明るさ
3D 特徴抽出
モジュール
模様
線画
2D 画像
両眼
動き
話題
1. 基本概念
2. 両眼立体視基本方程式
3. エピポーラ線
4. 照合のための特徴と戦略
両眼立体視
一枚の画像ではあいまい
A
a’
a”
２箇所の異なった場所からの画像より３次元
位置が決定
エピポーラ拘束
エピポーラ線
画像中の１点
可能性のある視線
基線
エピポーラ面
対応する点はエピポーラ線上に存在
エピポーラ拘束
エピポーラ線の特性
•正規化
ステレオ方程式
物理点
左画像点
右画像点
右画像面
左画像面
左画像中心
焦点距離
右画像中心
z 世界座標
基線長
ステレオ方程式
d+x
dx
z
x 
"

x
d-x
dx
"
f
f
z
z
-z
x 
'
(x  d )
z=-2df/(x”-x’)
x”-x’: 視差
2d : 基線長
z
x x 
"
f
f
(x  d )
f
d
d
'
z
x’
x”

x
'
f
z
(x  d  x  d )  
f
z
2d
ステレオの分類
Marr-Poggio
Marr-Poggio-Grimson
Nishihara-Poggio
MIT group
Lucas-Kanade
Ohta-Kanade
Matthie-Kanade
Okutomi-Kanade
CMU group
Baker
Hannah
Moravec
Stanford group
Barnard-Thompson
照合特徴
a. 明るさ
b. エッジ
c. エッジ間距離
d. インタレスト点
10 11 12
10 11 12
10 11 12
10 11 12
11 15 16
照合戦略
a. 弛緩法
10 10 10
10 5 10
10 10 10
10 10 10
10 5 10
10 10 10
10 10 10
10 10 10
10 10 10
b. 階層法
c. DP法
global optimam
local optimam
local optimam
f ( x1 , x2 , x3 )  f1 ( x1 )  f 2 ( x1 , x2 )  f 3 ( x2 , x3 )
例１：領域ベースステレオ
1. 手法
2. 問題点
a. 窓の大きさと解像度
b. ピークのなまり
b c
b
c
b c
領域ベースステレオ
ハードウエア
小松製 9眼ステレオ
領域ステレオ処理結果

入力画像列

出力（距離画像）
 窓内明るさ照合
 エピポーラ拘束
 視差限界
 明るい点：
近い、暗い点：遠い
 窓処理のため周辺で拡大
 視差制限のため背景がノイズ
例２：Marr-Poggio ステレオ
人間の両眼立体視機構をシミュレートする
(ランダムドットステレオグラム)
ランダムドット立体視
右画像
左画像
パッチ内のドットを平行移動
あいた部分にはドットでうめる
人間が立体視すると動いた部分がせりあがって板が見える
拘束（その１）
 エピポーラ拘束：
2次元探索ー＞１次元探索
拘束（その２）
 唯一性拘束(Uniqueness
Constraint):
画像中の1点は１つだけの距離値を持つ
可
不可
例： 水面と水中の石
拘束（その３）
 連続性拘束(Continuity
constraint)：
隣あった点は同じような距離値を持つ
可
不可
アルゴリズムの定式化
 エピポーラ拘束：
D
E
F
A
B
２D －＞ １D
A
B
C
C
D
視線の関係図
E
F
アルゴリズム表現
各ノードを仮想的な神経細胞と考える
各ノードの興奮状態で面の存在を記述
唯一性拘束のアルゴリズム化
 同一の視線上で1つ以上のノードの興奮を
禁止
 同一視線（水平線と垂直線）にそって興奮
細胞が抑制信号を送る
(E-A)
A
(E-B)
B
prohibit
C
(E-C)
連続性拘束のアルゴリズム化
 同一視差での興奮を励起
 同一視差（斜め線）にそって興奮細胞が興
奮信号を送る
(D-A)
(E-B)
同一視差
(F-C)
全体の定式化
閾値関数



'
'
'
' 
cn 1 (i, j )     cn (i , j )   cn (i , j )
' '


i j Pr
i ' j 'Ex

斜めよりの興奮信号
水平・垂直よりの抑制信号
照合戦略（弛緩法）
10 10 10
10 5 10
10 10 10
10 10 10
10 5 10
10 10 10
10 10 10
10 10 10
10 10 10



'
'
'
' 
cn 1 (i, j )     cn (i , j )   cn (i , j )
' '
' '


i
j

Ex
i
j Pr


ランダムドット
得られた
距離
参考文献（両眼立体視）
 Marr,
D. and Poggio, T., “Cooperative
computation of stereo disparity, Science
194, 283-287
 Ohta, U., and Kanade, T. “Stereo by intra
and inter-scanline search,” IEEE Trans
PAMI-2, No.2, pp. 139-140.
 Moravec, H. “Visual mapping by a robot
rover,” Proc. IJCAI, pp. 598-600
Marr のパラダイム
世界座標系表現
3D 表現
観測者中心座標系表現
2-1/2D 表現
融合・内そう
明るさ
3D 特徴抽出
モジュール
模様
線画
2D 画像
両眼
動き
明るさ解析
表面反射と内部反射
表面反射 内部反射
入射光
外部
物体表面
内部色素
物体内部
表面反射 = ハイライト、光源色、偏光、高い方向性
内部反射 =
物体色、 非偏光、全ての方向へ
プラスティックや塗装面は両方の反射があり
金属面は表面反射のみ
内部反射のモデル
拡散反射---全ての方向に反射
一般的な近似:
全ての方向に同一の明るさ
完全拡散反射
ランバートのコサイン法則
反射の強さ=係数 * 幾何項
f (i,e,g) = Kb * cos i
なぜ cos i ?
入力角が入射エネルギーの
密度に影響する
照度＝エネルギー／面積
エネルギー ＝ １
面積 ＝ １／cos i
照度＝ cos i
内部反射モデル


(p,q) に対して N= (p,q,1)
光源方向ベクトル S= ( ps , qs ,1)
R( p, q, ps , qs )  cos i  N  S

q
p
q
等照度曲線
p  ps  q  qs  1
p  q  1 ps  qs  1
2
2
2
( ps , qs )  (0,0)
R ( p, q ) 
0.5
0.8
0.9
1
p  q 1
2
2
2
p
光源と観測者位置が異なる場合

Lambertian（均等拡散面）
q
q
p
R( p, q, ps , qs )  cos i  N  S

p  ps  q  qs  1
p  q 1 p  q 1
2
2
2
s
2
s
Self-shadow line
自分自身の陰になり
光が照射されない
p
明るさ解析問題
内部反射の明るさは，面の傾きにのみ依存する
⇔ 明るさ情報から物体形状（面の傾き）が特定できる
明るさ情報
0.8
明るさ方程式 E(x,y)=R(p,q)
明るさ方程式は、グラディエン
ト空間に拘束を１つ与えるだけ
＝＞ 未知数の方が多い！
(p,q,1)
面の傾き
0.8
q
p
等照度曲線
照度差ステレオ
•１つの明るさ方程式は1つの拘束
--- > 複数の方程式を得る！
•視点を変えずに光源方向のみを変えた画像を複数
枚撮る
•光源方向に応じて異なった反射率地図が得られる
•同一地点で複数の明るさ方程式
q
q
p
p
照度差ステレオ
３枚以上の画像から，その点の傾きを特定できる
解析解

n  (nx , n y , nz )  


p
p  q 1

S1  ( S1x , S1 y , S1 z )  


2
q
,
p  q 1
2
2
p1s
2
q1s
,
2
p1s  q1s  1
,
2


2
2
p  q 1 

1
2
1
,
2
p1s  q1s  1
2
p1s  q1s
S2  (S2 x , S2 y , S2 z )
S3  ( S3 x , S3 y , S3 z )
 
 E1  S1  n
 S1x

 




A   S2 x
 E2  S 2  n  E  A  n
 


E  S3  n

 S3 x

 3

1
1
A  E  A  A n


1
n  A E
S1 y
S2 y
S3 y
S1z 

S2 z 

S3 z 
•実世界はもう少し複雑な光源＆反射率地図
--- > 参照表法
2



1 
参照表作り
Ikeuchi & Horn 83
実行時
参考文献（明るさ解析）






Horn, B.K.P. “Image Intensity Understainding,” Artificial Intelligence,
Vol 8, pp201-231, 1977
Nayar S.K., K. Ikeuchi, and T. Kanade "Surface reflection: physical
and geometrical perspectives", IEEE Trans. PAMI, Vol. 13, pp.661634, 1991.
Horn, B.K.P. & Ikeuchi, K. “The Mechanical Manipulation of
Randomly Oriented Bin,” Scientific American, Vol. 251, No.2, pp.
100-111, 1984.
Horn, B.K.P “Obtaining shape from shading information,” in The
Psychology of Computer Vision, P.H. Winston (ed.), McGraw-Hill,
1995
Ikeuchi, K. & B.K.P. Horn, “Numerical shape from shading and
occluding boundaries,” Artificial Intelligence, Vol. 17, 1981.
Klinker, G.J., S.A. Shafer & T. Kanade, “The measurement of
highlight in color image,” Int. J. Computer Vision, Vol.2, 1988.
まとめ
 両眼立体視
– 両眼立体視基本方程式
– エピポーラ拘束
– 照合の特徴と戦略
 明るさ解析
– 反射率地図の使用法
– 明るさ方程式
– 照度差ステレオ原理