Transcript curvature

Surface Curvature and Shape
Reconstruction from Unknown Multiple
Illumination and Integrability
Joel Fan and Lawrence B. Wolff
CVIU 1997
宮崎大輔
概要
• ヘッセ行列を求める手法の解説
• 求めたヘッセ行列を用い
– ガウス曲率の符号で物体表面を分割
– それをさらに凹凸で分割
（スライド：１７枚）
Image irradiance equation
• 物体表面の点: (x, y, z(x, y)) {z(x, y)∈C2}
• 表面法線ベクトル: (p, q, -1)
• pとqはgradient space変数
z y  z y
p  zx q  z y
z x  z x
• Image irradiance equation
I ( x, y )  R ( p , q )
点(x, y)の輝度Iは、reflectance map Rを用いて、
表面の方向(p, q)で表される
ヘッセ行列
• ヘッセ行列(Hessian matrix)は
 z xx z xy 
H

z
z
yy 
 yx
• z(x, y)はC2なのでzxy=zyx(積分可能性制
約)
つまり、ヘッセ行列は３自由度
• ヘッセ行列は、表面の曲率に関する情報
を表す→ガウス曲率の符号、凹凸
ガウス曲率の符号と凹凸
• |H|をヘッセ行列Hの行列式、単位ヘッセベ
クトルを(nx, ny, nz)とすると、ガウス曲率K
の符号は
2
sign ( K )  sign (| H |)  sign (nx nz  n y )
• nx nz  n y2  0 の場合、nx>0なら凸、nx<0なら凹
Ratio mapの定義
• Ratio image i1,2は、二つの画像I1とI2を用いて以
下のように定義される
I1 ( x, y)
i1, 2 ( x, y) 
I 2 ( x, y)
• Ratio map: ratio imageのreflectance map
• 光源s1,s2での画像をI1,I2とする。RiをIiに関する
reflectance mapとすると、ratio map r1,2は
I1 ( x, y) R1 ( p, q)
i1, 2 ( x, y) 

 r1, 2 ( p, q)
I 2 ( x, y) R2 ( p, q)
３つの画像のratio map
• 画像I1(x,y), I2(x,y), I3(x,y)があるとする
i1, i2, r1, r2を以下のように定義
I1 ( x, y ) R1 ( p, q)
i1 ( x, y )  i1,3 ( x, y ) 

 r1,3 ( p, q)  r1 ( p, q)
I 3 ( x, y ) R3 ( p, q)
I 2 ( x, y ) R2 ( p, q)
i2 ( x, y )  i2,3 ( x, y ) 

 r2,3 ( p, q)  r2 ( p, q)
I 3 ( x, y ) R3 ( p, q)
Image irradiance equationの微分
• 前頁の２式をxとyで微分すると下式を得る
 i1x i1 y   r1 p r1q  z xx z xy 




I  RH
i
 r
 z

i
r
z
yy 
 2 x 2 y   2 p 2 q  yx
• Iは既知なのでRが求まればHが求まる
 r1 ( p, q)

p
R
 r2 ( p, q)
 p

r1 ( p, q) 

q  1  R1 p  r1 R3 p

r2 ( p, q)  R3  R1q  r1 R3q
q 
R2 p  r2 R3 p   A B 
  

R2 q  r2 R3q   C D 
• r1, r2, R3は分かるので、R1p, R2p, R3p, R1q, R2q, R3q
が求まればRが求まる
式変形
• 前頁の結果から
 z xx

z
 yx
1
HR I
ここで、z
xy
 z yx
z xy 
1  D  B  i1x




z yy  | R |   C A  i2 x
i1 y 

i2 y 
なので
Di1 y  Bi 2 y  Ci1x  Ai2 x
これを変形すると
 R2 q
i1 y 
R
 1q

R
  (r1i2 y  r2 i1 y ) 3q

R

 1q

R
  i2 x  1 p

R

 1q

R
  i1x  2 p

R

 1q

R
  (r1i2 x  r2 i1x ) 3 p

R

 1q

  i2 y


Gradient ratio constants
• 5点(x0,y0),…,(x4,y4)を選ぶと下式が導かれ
る
 R2 q 


 R1q 
 R3q 
i
(
x
,
y
)
(
i
i

i
i
)(
x
,
y
)

i
(
x
,
y
)
i
(
x
,
y
)
(
i
i

i
i
)(
x
,
y
)
 1y 0 0
  i2 y ( x0 , y0 ) 
1 2y
2 1y
0
0
2x
0
0
1x
0
0
1 2x
2 1x
0
0 

 R1q  

i
(
x
,
y
)
(
i
i

i
i
)(
x
,
y
)

i
(
x
,
y
)
i
(
x
,
y
)
(
i
i

i
i
)(
x
,
y
)
i
(
x
,
y
)
 1y 1 1
1 2y
2 1y
1
1
2x
1
1
1x
1
1
1 2x
2 1x
1
1 
 R1 p   2 y 1 1 



   i2 y ( x2 , y2 ) 

 R1q  




 i2 y ( x3 , y3 ) 

R
 i ( x , y ) (i i  i i )( x , y )  i ( x , y ) i ( x , y ) (i i  i i )( x , y )  2 p   i ( x , y ) 
1 2y
2 1y
4
4
2x
4
4
1x
4
4
1 2x
2 1x
4
4 
2y
4
4 
 1y 4 4
 R1q  
 R3 p 


R
 1q 
ヘッセ行列が求まる
• 比率 R2q R1q , R3q R1q ,..., R3 p R1q は、5点(x0, y0),
…, (x4, y4)を選ぶ事により求まる
• R1qに任意の値を入れると、ヘッセ行列が
求まる
• ヘッセ行列により、ガウス曲率の符号、凹
凸、物体形状が分かる
(c) Daisuke Miyazaki 1997
All rights reserved.
http://www.cvl.iis.u-tokyo.ac.jp/