Transcript 当日使用 OHP Power Point ファイル

確率モデルによる
画像処理技術入門
--- ベイズ統計と確率的画像処理 --東北大学 大学院情報科学研究科
田中 和之
[email protected]
1
はじめに
頑健かつ緻密な画像処理システム
半導体・集積回路
技術の急速な発展
超高性能ディスプレ
イの出現
ユピキタスビジュアルプロセッシング時代の到来
頑健性と緻密性をもつ画像処理
システムに対する社会的要請
2
はじめに
確率モデルの導入
不確かさを表現する数学的道具：確率と確率モデル
膨大なデータ
ユーザーの要求
ベイズの公式
情報処理のための確率モデル
3
はじめに
画像処理の確率モデル
加法的白色
ガウス雑音
通信路
原画像
劣化画像
P(劣化画像 | 原画像) P(原画像)
P(原画像 | 劣化画像) 
P(劣化画像)
4
２値画像の画像修復
f x , y  1
劣化過程と事前確率
M N
(２元対称通信
路)

P g x,y f x,y

P g f     P g x , y f x , y
劣化過程
x 1 y 1

f 
事前確率 P




M N
1

2
2
exp     f x , y  f x 1, y  f x , y  f x , y 1 
 2 x 1y 1



P f  


M N
1
2
2
 exp  2    f x , y  f x 1, y  f x , y  f x , y 1 
f
x 1y 1



 

 



5
２値画像の画像修復
事前確率分布 P f 



M N
1

2
2
exp     f x , y  f x 1, y  f x , y  f x , y 1 
 2 x 1y 1



P f  


M N
1
2
2
 exp  2    f x , y  f x 1, y  f x , y  f x , y 1 
f
x 1y 1



 

 



  0.25
  0.5
 1
( 1  4)
( 1  2)
( 1  1)
6
２値画像の画像修復
ベイズの公式と事後確率
P f g  
Pg f P f 
P g 

exp  E  f g 
 exp  E  f g 
f


1 M N
E f g      f x,y  g x,y 2
2
x 1y 1

 

1 M N
    f x , y  f x 1, y 2  f x , y  f x , y 1 2
2
x 1y 1

ˆf
x , y  sign mx,y


mx , y   f x , y P f g 
f
7
２値画像の画像修復
平均場近似
 f x,y  mx,y  f x1,y  mx1,y   0
 f x,y  f x 1,y 2  f x,y 2  2 f x,y f x 1,y  f x 1,y 2
 2  2 f x , y f x 1, y
 2  2mx , y f x 1, y  2mx 1, y f x , y  mx , y mx 1, y
M N  g x,y  mx 1, y  mx 1, y
E f g    
 
x 1y 1

 f x,y
 mx , y 1  mx , y 1 
8
２値画像の画像修復
平均場近似
M N

P f g     P f x , y g x , y
x 1 y 1

  g x,y  mx 1, y  mx 1, y





exp
f x,y 


 mx , y 1  mx , y 1 



P f x,y g x,y 
  g x,y  mx 1, y  mx 1, y



 f x,y 
 exp  

 mx , y 1  mx , y 1 

f x , y  1




 g x,y  mx 1, y  mx 1, y


mx , y   f x , y P f g   tanh 




m


m
x
,
y

1
x
,
y

1


f
9
２値画像の画像修復
平均場方程式

ˆf
x , y  sign mx,y

mx , y   f x , y P f g 
f
 g x,y  mx 1, y  mx 1, y


mx , y  tanh 




m


m
x
,
y

1
x
,
y

1


10
２値画像の画像修復
事前分布から生成された画像による数値実験
原画像
劣化画像
修復画像
  0.25
( 1  4)
  0.5
( 1  2)
 1
( 1  1)
11
２値画像の画像修復
数値実験
原画像
劣化画像
修復画像
12
２値画像の画像修復
ハイパパラメータ α, βの自動推定
•周辺尤度最大化
ˆ , ˆ   arg max Pg  ,  
 , 
P g |  ,     P g , f |  ,     P g | f ,  P f  
f
f
13
２値画像の画像修復
数値実験
原画像
劣化画像
平均場近似
クラスター
変分法
ハイパパラメータα,βの自動推定を周辺尤度最大
化で行う場合，平均場近似では不十分であり，ク
ラスター変分法への拡張が必要となる
14
２値画像の画像修復
数値実験
原画像
劣化画像
平均場近似
クラスター
変分法
ハイパパラメータα,βの自動推定を周辺尤度最大
化で行う場合，平均場近似では不十分であり，ク
ラスター変分法への拡張が必要となる
15
モノクロ画像の画像修復
f x ,y   ,
劣化過程と事前確率
劣化過程
(加法的白色
ガウス雑音)


M N

P g f     P g x , y f x , y
x 1 y 1
f 

事前確率 P
 
g x , y  f x , y  N 0, 2

 1
1
P g x,y f x,y 
exp  
f x,y  g x,y
2
2 
 2

2 




M N
1

2
2
exp     f x , y  f x 1, y  f x , y  f x , y 1 
 2 x 1y 1



P f  


M N

1

2
2
exp

f

f

f

f
x, y
x , y 1 df
   2   x , y x 1, y

x 1y 1



 

 



16
モノクロ画像の画像修復
ベイズの公式と事後確率
P f g  
Pg f P f 
P g 


exp  E  f g 

exp  E f g df






1 M N
E f g      f x,y  g x,y 2
2
x 1y 1

 

1 M N
    f x , y  f x 1, y 2  f x , y  f x , y 1 2
2
x 1y 1



ˆf
min
 n   f x , y P f g 
x,y 


n 0,1, ,255 
2
17

モノクロ画像の画像修復
数値実験
原画像
劣化画像
修復画像
ハイパパラメータα, βは周辺尤度最大化で決
定．解析的に扱えるモデルでは良好
18
モノクロ画像の画像修復
数値実験
原画像
劣化画像
修復画像
ハイパパラメータα, βは周辺尤度最大化で決
定．解析的に扱えるモデルでは良好
19
カラー画像の画像修復
劣化過程と事前確率 f x , y ,   ,
劣化過程
 
g x , y ,  f x , y ,  N 0, 2
(加法的白色ガウス雑
音)
事前確率



 M N
 f x, y,  f x 1, y, f x, y, '  f x 1, y, '
 
1


exp    
 , '


 f x, y,  f x, y 1, f x, y, '  f x, y 1, '  
 2 x 1y 1  RGB  '  R, G, B



P f  
 M N
 f x, y,  f x 1, y, f x, y, '  f x 1, y, '
 

1

 df
  , ' 
  exp  2   


f

f
f

f
x, y ,
x, y 1,
x, y , '
x, y 1, '  

x

1
y

1


RGB

'

R
,
G
,
B











20
カラー画像の画像修復
ベイズの公式と事後確率
P f g  
Pg f P f 
M N
1
E f g    
2
P g 
  f x , y ,
x 1y 1  R ,G , B

exp  E  f g 

exp  E f g df






 g x , y , 2
1 M N
  
2

 , '  f x , y ,
 f x 1, y ,
 f x , y , '  f x 1, y , ' 
1 M N
  
2

 , '  f x , y ,
 f x , y 1,
 f x , y , '  f x , y 1, ' 
x 1y 1  R ,G , B  '  R ,G ,B
x 1y 1  R ,G , B  '  R ,G ,B



ˆf
min
f x , y , P f g 
n  
x , y , 


n  0,1, ,255 
2
21
カラー画像の画像修復
数値実験
原画像
劣化画像
修復画像
ハイパパラメータα, βは周辺尤度最大化で決
定．解析的に扱えるモデルでは良好
22
カラー画像の画像修復
数値実験
原画像
劣化画像
修復画像
ハイパパラメータα, βは周辺尤度最大化で決
定．解析的に扱えるモデルでは良好
23
結合ガウス・マルコフ確率場モデル
エネルギー関数


1 M N
E f g      f x, y  g x, y 2
2
x 1y 1




1 M N 
x 1, y
x , y 1
    1  u x , y  f x , y  f x 1, y 2  1  u x , y  f x , y  f x , y 1 2 



2


x 1y 1
 V u 
ライン場についての事前情報 V(u)
24
結合ガウス・マルコフ確率場モデル
数値実験
原画像
劣化画像
ライン場を導入した
確率場モデル
ライン場のない
確率場モデル
量子ライン場を導入した
確率場モデル
25
結合ガウス・マルコフ確率場モデル
数値実験
原画像
劣化画像
ライン場を導入した
確率場モデル
ライン場のない
確率場モデル
量子ライン場を導入した
確率場モデル
26
まとめ
ベイズの公式を用いた確率場モデル
確率場モデルと平均場近似
カラー画像も含めた画像処理モデル
ライン場の導入
27
より実用的話し
エッジ検出・領域分割，テクスチャー解析
画像圧縮とその復元
動画像における移動体検出
ハイパパラメータの自動推定
（主として最ゆう推定とEMアルゴリズム）
典型性能評価
（スピングラス理論を用いた統計的性能評価，
レプリカ法，相関関数の厳密不等式）
28
これからどうなるか？
現時点では単なる推定システムに過ぎな
いが，複数のモデルを定義して処理を行い，
モデル選択を行ってゆく論理の展開を系
統的に導入できれば，更なる進化が期待
される．
確率的推論機構として AI との融合
29
何が本質か？
一口に確率的画像処理システムは確率場モデ
ルの相転移が重要というが，どのような相転移
がどのように画像処理に機能しているかについ
ての具体的なことは全然とは言わないまでも論
理的には説明できるほどにはわかっていない．こ
れまで統計力学で扱われてきた確率場モデルの
範囲で説明できるのかどうかも謎のままである．
物理学における新分野開拓
30