Transcript curvature
Surface Curvature and Shape
Reconstruction from Unknown Multiple
Illumination and Integrability
Joel Fan and Lawrence B. Wolff
CVIU 1997
宮崎大輔
概要
• ヘッセ行列を求める手法の解説
• 求めたヘッセ行列を用い
– ガウス曲率の符号で物体表面を分割
– それをさらに凹凸で分割
(スライド:17枚)
Image irradiance equation
• 物体表面の点: (x, y, z(x, y)) {z(x, y)∈C2}
• 表面法線ベクトル: (p, q, -1)
• pとqはgradient space変数
z y z y
p zx q z y
z x z x
• Image irradiance equation
I ( x, y ) R ( p , q )
点(x, y)の輝度Iは、reflectance map Rを用いて、
表面の方向(p, q)で表される
ヘッセ行列
• ヘッセ行列(Hessian matrix)は
z xx z xy
H
z
z
yy
yx
• z(x, y)はC2なのでzxy=zyx(積分可能性制
約)
つまり、ヘッセ行列は3自由度
• ヘッセ行列は、表面の曲率に関する情報
を表す→ガウス曲率の符号、凹凸
ガウス曲率の符号と凹凸
• |H|をヘッセ行列Hの行列式、単位ヘッセベ
クトルを(nx, ny, nz)とすると、ガウス曲率K
の符号は
2
sign ( K ) sign (| H |) sign (nx nz n y )
• nx nz n y2 0 の場合、nx>0なら凸、nx<0なら凹
Ratio mapの定義
• Ratio image i1,2は、二つの画像I1とI2を用いて以
下のように定義される
I1 ( x, y)
i1, 2 ( x, y)
I 2 ( x, y)
• Ratio map: ratio imageのreflectance map
• 光源s1,s2での画像をI1,I2とする。RiをIiに関する
reflectance mapとすると、ratio map r1,2は
I1 ( x, y) R1 ( p, q)
i1, 2 ( x, y)
r1, 2 ( p, q)
I 2 ( x, y) R2 ( p, q)
3つの画像のratio map
• 画像I1(x,y), I2(x,y), I3(x,y)があるとする
i1, i2, r1, r2を以下のように定義
I1 ( x, y ) R1 ( p, q)
i1 ( x, y ) i1,3 ( x, y )
r1,3 ( p, q) r1 ( p, q)
I 3 ( x, y ) R3 ( p, q)
I 2 ( x, y ) R2 ( p, q)
i2 ( x, y ) i2,3 ( x, y )
r2,3 ( p, q) r2 ( p, q)
I 3 ( x, y ) R3 ( p, q)
Image irradiance equationの微分
• 前頁の2式をxとyで微分すると下式を得る
i1x i1 y r1 p r1q z xx z xy
I RH
i
r
z
i
r
z
yy
2 x 2 y 2 p 2 q yx
• Iは既知なのでRが求まればHが求まる
r1 ( p, q)
p
R
r2 ( p, q)
p
r1 ( p, q)
q 1 R1 p r1 R3 p
r2 ( p, q) R3 R1q r1 R3q
q
R2 p r2 R3 p A B
R2 q r2 R3q C D
• r1, r2, R3は分かるので、R1p, R2p, R3p, R1q, R2q, R3q
が求まればRが求まる
式変形
• 前頁の結果から
z xx
z
yx
1
HR I
ここで、z
xy
z yx
z xy
1 D B i1x
z yy | R | C A i2 x
i1 y
i2 y
なので
Di1 y Bi 2 y Ci1x Ai2 x
これを変形すると
R2 q
i1 y
R
1q
R
(r1i2 y r2 i1 y ) 3q
R
1q
R
i2 x 1 p
R
1q
R
i1x 2 p
R
1q
R
(r1i2 x r2 i1x ) 3 p
R
1q
i2 y
Gradient ratio constants
• 5点(x0,y0),…,(x4,y4)を選ぶと下式が導かれ
る
R2 q
R1q
R3q
i
(
x
,
y
)
(
i
i
i
i
)(
x
,
y
)
i
(
x
,
y
)
i
(
x
,
y
)
(
i
i
i
i
)(
x
,
y
)
1y 0 0
i2 y ( x0 , y0 )
1 2y
2 1y
0
0
2x
0
0
1x
0
0
1 2x
2 1x
0
0
R1q
i
(
x
,
y
)
(
i
i
i
i
)(
x
,
y
)
i
(
x
,
y
)
i
(
x
,
y
)
(
i
i
i
i
)(
x
,
y
)
i
(
x
,
y
)
1y 1 1
1 2y
2 1y
1
1
2x
1
1
1x
1
1
1 2x
2 1x
1
1
R1 p 2 y 1 1
i2 y ( x2 , y2 )
R1q
i2 y ( x3 , y3 )
R
i ( x , y ) (i i i i )( x , y ) i ( x , y ) i ( x , y ) (i i i i )( x , y ) 2 p i ( x , y )
1 2y
2 1y
4
4
2x
4
4
1x
4
4
1 2x
2 1x
4
4
2y
4
4
1y 4 4
R1q
R3 p
R
1q
ヘッセ行列が求まる
• 比率 R2q R1q , R3q R1q ,..., R3 p R1q は、5点(x0, y0),
…, (x4, y4)を選ぶ事により求まる
• R1qに任意の値を入れると、ヘッセ行列が
求まる
• ヘッセ行列により、ガウス曲率の符号、凹
凸、物体形状が分かる
(c) Daisuke Miyazaki 1997
All rights reserved.
http://www.cvl.iis.u-tokyo.ac.jp/