Transcript Gradient and curvature from the photometric

Gradient and curvature from the
photometric-stereo method,including
local confidence estimation
Robert J. Woodham
Introduction
照度差ステレオは
様々な実験環境において実行され矛盾の無いよ
い結果をもたらすSPSのための手法
様々な認識やlocalization taskに必要
cast shadow 、相互反射において誤差がでやす
い
Introduction
本稿では以下の２つの手法によって、照度差
ステレオをより実用的にする
複数画像をビデオレートから同時に得るために、
照明条件は変えず、スペクトル多重化を行う
LUTにビデオデータ（RGB）を通すため、商用の
画像処理ハードウェアを用いる
Shape-from-Shading
表面の勾配( p, q)を1枚の画像から得る手法
曲面 z  f ( x, y ) において、表面の勾配 ( p, q)は
p
f ( x, y)
,
x
q
f ( x, y )
y
よって表面法線ベクトルは [ p, q,1]
一方、画像照度方程式は
E ( x, y )  R ( p , q )
E ( x, y ) ：画像照度
(1)
R ( p, q ) ：反射率分布図
上記の関係式と、表面のなめらか拘束（連続
( p, q )
性）の仮定から、
を導出
Photometric Stereo
照明条件の異なる複数枚の画像から局所的
に表面の勾配を決定
Ei ( x, y)  Ri ( p, q)
i  1,2,3
(2)
E3
形状が既知の物体を較正に用
いて、観測画像濃度値[ E1 , E2 , E3 ]
に対応する面の勾配 ( p, q)の
参照表（lookup table）をつくる。
E1
E2
Albedo Variation
表面の反射率が一様でないとき、反射係数
を考慮した場合の画像照度方程式
( x, y )
Ei ( x, y)   ( x, y) Ri ( p, q)
i  1,2,3
完全拡散反射面の場合式（３）は線形
他は非線形（唯一の解が保証されない）
(3)
Two-Dimensional Surfaces in the ThreeDimensional Shape of Measured Intensities
式（２）において2次元の表面のパラメータ
p, q E1 , Eを軸とする3次元空間で決定さ
は
2 , E3
れる。
反射率が一様で、cast shadow,相互反射がない場合
の観測画像濃度値は [ E1 , E2 , E3 ] は2次元の表面形
状によって拘束される（2次元の表面しだいある）
Lambertian Reflectance
理想ランバート面では、画像照度は cos(i )に比例する。
i は入射角
画像照度[ E1 , E2 , E3 ] の離散プロット
光源方向
E1 ( x, y ) : (0.7,0.3), E2 ( x, y ) : ( 0.7,0.3), E3 ( x, y ) : (0,0)
Phong Reflectance
拡散反射成分と鏡面反射成分をもつ反射モ
デル。次式が成り立つ。
cos( j )[(1   )   cos n ( s / 2)]
I
cos( g / 2)
i ：入射角
g ：位相角
n ：鏡面反射成分のピークの鋭さ
 ：鏡面反射の割合 0    1
s ：off-specular angle(視線ベクトル及び、光源ベクト
ルと法線ベクトルの関係によって定義される）
n,  は物質の特性によって変化する
Phong Reflectance
Phongモデルにおける 画像照度[ E1 , E2 , E3 ] の離散プロット
光源方向は図１と同様
(  0.75, n  20)
Surface Curvature（表面曲率）
滑らかな曲面における曲率の自由度は３
⇒曲率を求めるのに３つのパラメータが必要
曲面 z  f ( x, y ) のヘッセ行列 H を表わす
 px
H
q x
py 

qy 
ただし
 2 f ( x, y )
px 
,
2
x
 2 f ( x, y )
py 
xy
 2 f ( x, y )
qx 
,
yx
 2 f ( x, y )
qy 
y 2
滑らかな表面では H は対称行列： p y  q x
Surface Curvature
ヘッセ行列 H および表面の勾配 ( p, q) から
視線方向によらない曲率の表現が可能
2

q
 1  pq
2
2 3 / 2
曲率行列： C  (1  p  q ) 
H
2
 pq p  1 
行列 H の固有値を k1 , k2 、固有ベクトルを 1 ,  2
とすると k1 , k2 は主曲率となる（方向は 1 ,  2 ）
(4
)
Surface Curvature
ガウス曲率（全曲率）：主曲率の積
1
K  k1k 2  det( C) 
det( C)
2
2
(1  p  q )
平均曲率：主曲率の平均
H  (k1  k2 ) / 2  1 / 2tr(C)
(6)
(5)
Determining the Hessian
画像照度方程式
E ( x, y )  R( p, q) を x, y で偏微分
Rp 
Ex 
E   H 
 y
 Rq 
(7)
式（７）だけではH は決定できない
2光源照度差ステレオにおいて
 E1x E2 x   R1 p R2 p 
H


E
E
R
R
 1 y 2 y   1q 2 q 
1
(8)
Determining the Hessian
3光源照度差ステレオでは
 E1x E2 x E3 x 
H
R

 E1 y E2 y E3 y 
ただし
R  M(MT M) 1
(9)
 R1 p R1q 


M   R2 p R2 q 
R R 
 3 p 3q 
3光源以上にも拡張可能
Determining the Hessian
式（９）よりヘッセ行列の推定値 Ĥ は、厳密に い
えば表面の勾配 ( p, q) に独立でない
行列 R は勾配( p, q)の誤差につよい。(robust)
ヘッセ行列の推定値が重複決定される
曲率の推定値（勾配の推定値）の信頼できな
い位置を検出できる
Determining the Hessian
曲率行列 C を推定する前にヘッセ行列を以下の式で与える
ˆ H
ˆT
H
（対称行列）
2
また、 Ĥ の妥当性の評価に以下の式を用いる
誤差行
列：
 R1 p R2 p R3 p 
 E1x E 2 x E3 x 
E
 Ĥ 


E
E
E
R
R
R
 1y 2 y 3y 
 1q 2 q 3 q 
Implementation
実験環境
Sony DXC-755 3 CCD 24-bit RGB camera
Newport MP-1000 Moire projector×3
spectral filter
Datacube image–processing system
etc....
Implementation
y
object
z
y
x
RGB camera
x
filter
light source
フィルターを使用し、スペクトルの異なった3つの光源
red,green,blueを用いた投影を行う（スペクトル多重化）
Implementation
スペクトル多重化
異なった光源下で撮影した複数枚の画像と同
様のものを、同時に（一度に）得ることができる
RGBカメラから3枚の白黒画像を得る
実験に用いた物体
キャリブレーション用：陶器の楕円体
実物体：陶器のdoll face
反射特性は同じ
Calibration
半径ｒの楕円体を用いる
x 2  (y ) 2  z 2  r 2
楕円体上の点 ( x, y )における
Light source 1
Light source 2
勾配及びヘッセ行列は
x
2 y
p , q
z
z
1
H 3
z
r 2  2 y 2 2 xy 
 2
2
2
2 
 xy  ( r  x )
Light source 3
Calibration
楕円体における 画像照度[ E1 , E2 , E3 ] の離散プロット
Lookup Table for Real-Time
Photometric Stereo
R
G
6bits
LUT
(p,q) colour index
8bits
6bits
B
6bits
18
entries 8bits
2
d gray level
ハードウェアは 218 entriesを一度に持つことができないので、
16
長さ 2 のlookup tableを４つのハードウェアで実装する
Lookup Table for Real-Time
Photometric Stereo
Lookup tableを用いた復元
キャリブレーション物体を様々な光源条件（３）のもとで撮影
し、ある特定の点から得た観測画像濃度値 [ E1 , E2 , E3 ] が、
表の項目を決定し、適切な場所に、計算によって求められた
表面の勾配 ( p, q)（あるいは単位法線ベクトル）を格納
キャリブレーション物体のサンプリング間隔により表内に
隙間が生じる場合は、線形補間を用いて値を補う
補間によって求めた値と項目に存在した値との表
内での距離を d とし評価に用いる
Experiment Result
実験に用いた物体（384×256）
Light source 1
(red)
Light source 2
[green]
Light source 3
[blue]
Experiment Result
Doll faceにおける 画像照度[ E1 , E2 , E3 ] の離散プロット
Experiment Result
相互反射
cast shadows
Experiment Result
１．表面の勾配
slope angle: tan 1 (
Slope
p2  q2 )
Aspect
aspect
angle:
tan 1 (q / p)
Confidence
estimate d
Experiment Result
１.表面の勾配（カラー画像）
Experiment Result
２.表面曲率
k1
k2
Confidence
estimate 1 , 2
Discussion and Conclusion
照度差ステレオは異なる照明条件で撮影された
複数の画像から、物体の3次元形状を得る手法
表面の勾配と、表面曲率の推定値を得ることが
できる
スペクトル多重化を使用して、照明条件を変化さ
せずに同時に複数枚の画像を獲得した
ビデオストリームを参照表に通して送るため、商
用のハードウェアを使用した