Transcript ホップフィールド ニューラルネットワークによる 陰影からの形状復元

ニューラルネットワークを使用した
エネルギー最適化による
濃淡画像からの形状復元
名古屋工業大学
情報メディア教育センター
岩堀研
1
目的
走査型電子顕微鏡（SEM）の2次元濃淡画像
SEMの特徴
視点と光源方向が同じ
試料台が回転(±約40度)
3次元形状を復元
2
撮影環境
 平行投影を仮定
 ±40度の範囲で回転
y
y
物体
x
x
‐θ回転
θ回転
回転
光源
z
カメラ
3
ホップフィールド型
ニューラルネットワークの利用
• Hopfield
– 巡回セールスマン問題
• Koch
– ノイズのない元データに
復元
外部入力
n1
出力
z1
n2
z2
nN
ニ
ュ
ー
ロ
ン
HF-NN
zN
4
正則化手法と最急降下法
目的関数
E  f x , y ＝
D
f
x, y
2
2



f

f




2
x
,
y
x
,
y
 d x , y     
  
 dxdy
  x   y  


d x , y ：計測値
f x , y ：最適化すべき変数
滑らか拘束
最急降下法
d f x, y
dt

E  f x , y 
f x , y
0
5
最適化の評価関数
E  C1 E1  C2 E2  C3 E3  C4 E4  C5 E5
 f  2  f  2  g  2  g  2 
E1              dxdy
D
 x   y   x   y  
E2   I x, y   R p, q  dxdy
2
D
E3   I ' x' , y   R p ' , q ' dxdy
2
D
E4   I ' ' x' ' , y   R p ' ' , q' ' dxdy
2
D
E5   min 0, z x , y  dxdy
2
D
C1～C5 : 正則化パラメータ
I : 入力画像
R : 表面反射関数
z
z
,q 
x
y
6
f , g :ステレオグラフィックス射影の勾配
p
ネットワークの初期値
• 物体の輪郭部分の表面法線を視線と輪郭線に
垂直であり、高さを０とする
• 隣接点に対して q  0 と仮定して初期値ｚを求め
ていく

1
z

z

1
 i, j
i , j 1
n zi , j


or


1
z  z

1
i , j 1
 i, j
n zi , j

7
シミュレーション実験
入力画像(回転角10度)
高さに対する誤差の割合 5.3409%
平均自乗誤差
28.5247
分散
5.3425
理論値
最適化後
8
凹状態の部分を持つ物体
入力画像(回転角10度)
理論値
高さに対する誤差の割合 14.305694%
平均自乗誤差
22.2867
分散
4.7210
最適化後
9
実物体での実験
入力画像(回転角10度)
最適化後
10
SEM画像の特徴
• 通常の光源の下での観測と同様に扱える
• 視点の方向に表面法線が向いているほど輝度
値が低くなる
• 光源と視点は同一方向に固定され、十分遠方
にあると仮定できる(平行射影)
本手法を適用可能
表面反射関数をSEM用に変更
11
電子顕微鏡画像への応用
入力画像(回転角10度)
最適化後
12
より良い初期値を求めて…
13
ネットワークの初期値
• RBF-NNで輝度変化と表面法線の関係を学習
– 学習データの組み
• 入力：2枚の画像の同一画素の
輝度値の組
• 出力：表面法線のx成分とz成分
I1
R
B
F
nx
I2
N
N
nz
• 得られたx成分を積分
高さ分布zの初期値
• 傾きパラメータp,qの初期値 p( x, y )   nx ( x, y )
n z ( x, y )
q( x, y )  z ( x, y )  z ( x, y 141)
最適化の評価関数
E  C1 E1  C2 E2  C3 E3
 f  2  f  2  g  2  g  2 
E1              dxdy
D
 x   y   x   y  
E2   Iθ x, y   R p, q  dxdy
2
D
2

 z
  z
E3     pθ x, y     qθ x, y  dxdy
D x

  y

2
C1～C3 : 正則化パラメータ
Iθ : 回転角θの入力画像
R : 表面反射関数
p, q : 傾きパラメータ
f , g : ステレオグラフィック
ス射影での勾配
15
シミュレーション実験
入力画像(回転角5度)
最適化前
理論値
最適化後
16
ノイズを含む場合での実験
入力画像(回転角5度)
最適化前
理論値
最適化後
17
ノイズの分散値のMSEの変化
平均自乗誤差(MSE)
• ノイズの分散値が
0.06以下であれば、
ノイズに対する耐性
が確認できる。
18
SEM画像での実験
入力画像(回転角5度)
理論値
最適化前
最適化後
19
復元に使用する画像の枚数を
増やすと…
20
シルエット法(視体積交差法)
複数の視点でのシルエット画像を
ボクセル空間に逆投影することで形状を得る
ボクセル空間
カメラn
投影面
カメラ1
物体
カメラ2
カメラが固定で物体自身が回転
する状況でも同様に考えられる
21
シルエット法による復元の断面図
対象物体
復元した物体領域
Θ= -40°
Θ=40°
Θ=0°
22
新たな手法の提案
• シルエット法：180度以上の回転が必要
• SFSの最適化：初期値への依存度が高い
シルエット情報と輝度情報の有効利用
– シルエット法, Marching Cubes法を用いた最
適化の初期ベクトル作成
– Shape from Shading Images of Rotating
Objectを応用したエネルギー最適化
23
-復元アルゴリズム入力データ 画像n枚
<最適化の初期値作成>
<最適化処理>
回転角θの濃淡画像
シルエット画像
回転角θの変更
シルエット法
ボクセルデータ
HF-NNを用いた
最急降下法
Marching Cubes法
サーフェスデータ(初期値)
出力データ
24
最適化の評価関数
E  C1 E1  C2 E2  C3 E3
 f  2  f  2  g  2  g  2 
E1              dxdy
D
 x   y   x   y  
E2   Iθ x, y   R p, q  dxdy
2
D
2

 z
  z
E3     pθ x, y     qθ x, y  dxdy
D x

  y

2
C1～C3 : 正則化パラメータ
Iθ : 回転角θの入力画像
R : 表面反射関数
p, q : 傾きパラメータ
f , g : ステレオグラフィック
ス射影での勾配
25
実験
入力濃淡画像(17枚, 完全拡散反射)
Θ = -40°
Θ = 40°
Θ = -20°
Θ = 20°
Θ = 0°
26
復元の様子
最適化結果
ボクセルデータ
シルエットデータ
最適化前
テクスチャ貼付
27
まとめ
• ニューラルネットワークを用いて回転物体の濃淡
画像からエネルギー最適化により形状復元
• 3種類の最適化初期値設定方法を提案
• 本最適化手法をSEM画像に適用し有効性を確認
• シルエット法の弱点や復元解像度の改善
今後の課題
• 復元精度の評価
• SEM試料台の回転軸、検出器の位置による二次
電子量の変化、ノイズなどによるSEM画像での復
元誤差の改善
28