Transcript Presentation Slide

ガウス模型を用いた確率的画像処理
におけるベーテ近似の精度評価
東北大 情報科学
山口大 工
理化学研究所
田中和之
庄野逸
岡田真人
共同研究者：D. M. Titterington (University of Glasgow, UK)
参考文献
田中和之, 「統計力学を用いた確率的画像処理アルゴリズムの基礎
---確率伝搬法と統計力学 ---」, 計測と制御, Vol.42, No.8, pp.631-636, 2003.
1
ガウシアングラフィカルモデルと
確率伝搬法（ベーテ近似）
Y. Weiss and W. T. Freeman, Correctness of belief
propagation in Gaussian graphical models of arbitrary
topology, Neural Computation, 13, 2173 (2001).
Y. Weiss, Comparing the mean field method and belief
propagation for approximate inference in MRFs,
Advanced Mean Field Methods, MIT Press (2001).
ガウシアングラフィカルモデルを用いた確率的画像処理に
対して確率伝搬法（ベーテ近似）はどの程度の精度が出せ
るのだろうか？
ハイパパラメータの推定も含めて検証したい．
2
ベイズの公式と確率的画像処理
P f 

事前確率
y
画素
g
劣化過程
原画像

x
P g f ,
f
f  f x,y x, y  
事後確率
P  f g, ,  
fˆx , y 
z
x,y

g
劣化画像
g  g x , y  x , y    
P  g f ,  P  f 
P g  , 


P  z g ,  ,  d z
3
周辺尤度最大化によるハイパパラメータ推定
ˆ , ˆ   arg
max P  g  , 
 , 
P g  ,   
y

原画像
f  f x,y x, y  
fˆx , y 
z
 P  g z ,  P z  d z 
P f 
x



x,y
P  z g , ˆ , ˆ d z
Z POS  g ,  , 
P g f ,
f

2 

g


Z PR 

g
周辺化
P g  ,
周辺尤度

g
劣化画像
g  g x , y  x , y    
4
画像修復の劣化過程と事前確率
f x , y , g x , y     ,  
劣化過程
P g f ,   
1

exp  
2 
 2
1

( x , y ) 
2
f
 g x, y 
2
x, y



g x, y  f x, y  n x, y

n x, y ~ N 0, 
2

事前確率
 
P f   
exp  

Z PR  
 2
( x , y ) 
1
 f x, y 
f x  1, y

2


2
 f x, y 
f x , y 1
2 

事後確率
P  f g, ,  
P  g f ,  P  f 
P g  , 
  f x , y

 g ,  ,   ( x , y ) 
1

Z POS




1

2
 f x , y g x , y  exp  
2
f
x, y


 
g x , y  f x , y , f x  1, y  f x , y , f x . y  1
2 
 g x, y  


 
2 
  f x , y , f x ', y '   exp    f x , y  f x ', y '  
 2

5
周辺確率の導入
Px , y ( f x , y )     f x , y  z x , y P  z g ,  ,  d z
x ', y '
x, y
P

( f x , y , f x ', y ' )
 f
x, y
fˆx , y 
 z x , y   f x ', y '  z x ', y ' P  z g ,  ,  d z
z
x,y
P  z g ,  ,  d z 



 Px , y  d 
6
確率伝搬法（ベーテ近似）
Px , y  f x , y  



f
x  1, y
x,y
P
( x , y  1)
M
M
x , y 1
x,y
x 1, y
x,y
( x , y  1)
( f x,y )
M
( f x,y )
( x  1, y )
M
( x  1, y )
( x, y )
M
x , y 1
x,y
M
x 1, y
x,y
Px , y  f x , y  
Z x,y
( f x,y )
M
( f x,y )
( x  1, y )
( f x,y )
M
x , y 1
x,y

x , y 1
x,y
x 1, y
x,y
 f M
x,y
 f M
x,y
x , y 1
x,y
x 1 , y
x,y
x 1, y
f 
Px , y
x,y
f
x,y
( f x,y )
, f x 1, y  
M
1
x 1, y
Z x,y



 f x, y  g x, y 


x  1, y 1
x 1, y
( f x 1, y )

x 1, y



2
  f x , y , f x ', y '   exp  

 f M  f M  f 
 f M
 f M
f
x,y
x 2, y
2
( f x 1, y )
( x  2, y )

 M x 1, y

1
 f x , y g x , y  exp  
2
 2
x 2, y
x 1, y
 f x , y g x , y   f x , y , f x  1, y  f x  1, y g x  1, y
 M x,y
x,y
M
( f x 1, y )
( x  1, y  1)
x 1, y
f 
x 1, y 1
x 1, y
( x  1, y )
( x , y  1)
 f x,y g x,y M
M
( x  1, y  1)
( x, y )
( f x,y )

x , y 1
x,y
x 1, y
x,y
( x , y  1)
1
, z x  1 , y dz x  1 , y
x,y
f
x , y 1
x,y
x,y
x 1, y 1
x 1, y
x, y
x , y 1
x,y
x 1, y
x,y
x  1, y 1
x 1, y
2 
 f x ', y '  
 7
x 1, y

確率伝搬法におけるメッセージ更新規則
 
   

M
x,y
x 1, y
  





g x,y
( x , y  1)
M
M
x , y 1
x,y
x 1, y
x,y
x ', y '
M x , y ( ) 
( f x,y )
M
( f x,y )
( x  1, y )
x,y
x 1, y
x , y 1
x,y

 M xx,,yy  1  M xx,,yy 1  d 
x 1, y
x, y
 M xx,,yy  1  M xx,,yy 1  d  d  '
 xx ,',yy '
2
( x  1, y )
( f x,y )
反復法
( x , y  1)

x 1 , y
x,y
( f x 1, y )
( x, y )
M

  ,  'M
  g x , y   ,  M

1

2
 f x , y g x , y  exp  
2
f
x, y


2 
 1 x ', y '
exp  
 x , y    xx,',yy ' 
 2

固定点方程式

 
M  M
 
2 
 g x , y     f x , y , f x ', y '   exp  

 2
 
f
x, y
2 
 f x ', y '  

8
画像修復
事前確率から生成された原画像に対する数値実験
劣化画像 (  40)
原画像 (  0 . 001 )
平均場近似
確率伝搬法（ベーテ近似）
厳密解
ˆ  0.000298
ˆ  0.000784
ˆ  0.001090
ˆ  29.1 , MSE  538.5
ˆ  37.8, MSE  302.8
ˆ  39.4, MSE  297.6
MSE 
1
| |
2
ˆ


f

f
 x, y x, y
 x , y  
9
対数周辺尤度
事前確率から生成された原画像に対する数値実験
原画像 (  0 . 001 )
平均場近似
-5.0
1
| |
ln P  g ˆ , 
平均場近似
-5.0
確率伝搬法

1
| |
-5.5
ln P  g  , ˆ 
厳密解
確率伝搬法
-6.0
10
劣化画像 (  40)
厳密解
20
30 40
平均場近似
ˆ  0.000298, ˆ  29.1

50
60
-5.5
確率伝搬法（ベーテ近似）
ˆ  0.000784, ˆ  37.8
0
0.0010  0.0020
厳密解
ˆ  0.00109, ˆ  39.4
10
ガウシアングラフィカルモデル
を用いた画像修復
原画像
劣化画像
平均場近似
MSE: 591
MSE: 325
ウィーナーフィルター
メジアンフィルター
MSE: 1512
厳密解
平滑化フィルター
MSE:315
MSE: 411
MSE 
MSE: 545
1
| |
確率伝搬法
  f x, y 
 x , y  

2
fˆx , y
MSE: 447
11
ガウシアングラフィカルモデル
を用いた画像修復
原画像
厳密解
MSE:306
劣化画像
平均場近似
確率伝搬法
MSE: 1409
MSE: 593
MSE: 324
ウィーナーフィルター
メジアンフィルター
MSE: 369
MSE: 259
平滑化フィルター
MSE: 268
MSE 
1
| |
  f x, y 
 x , y  

2
fˆx , y
12
ウィーナーフィルター
fˆx , y 

 x ', y ' 
x, y K x' , y ' g x, y
2
K  arg min
L



 f
 P  f , g d g d f

x
,
y
L
x
'
,
y
'
g

x ', y ' 
 x, y
 x ', y ' 


P  f , g   P  f , g  f  n   P  f P n 
通常の適応型ウィーナーフィルターでは更に
  f x , y  m x , y  f x ', y '  m x ', y ' P  f d f
 V x , y  x , x ' y , y '
を仮定し，原画像の各ピクセルの分散を劣化画像から推定．
13
まとめ
ベイズの公式と周辺尤度を用いた確率的画像処理におい
て可解確率場モデルのひとつであるガウス模型を事前確
率に採用した場合の確率伝搬法（ベーテ近似）の精度と性
能の評価
ハイパパラメータ推定において平均場近似から確率伝搬
法へと，厳密解で得られる結果に系統的に近づいている．
既存のフィルターに比較して平均場近似，確率伝搬法のい
ずれもMSEでみて同等以上の結果が得られるのみならず
見た目にも良好な結果が得られている．
14