Transcript PPT

物理フラクチュオマティクス論
Physical Fluctuomatics
第4回 最尤推定とEMアルゴリズム
4th Maximum likelihood estimation and EM algorithm
東北大学 大学院情報科学研究科 応用情報科学専攻
田中 和之(Kazuyuki Tanaka)
[email protected]
http://www.smapip.is.tohoku.ac.jp/~kazu/
7 May, 2007
物理フラクチュオマティクス論(東北大)
1
今回の講義の講義ノート
田中和之著：
確率モデルによる画像処理技術入門，
森北出版，第４章，2006．
7 May, 2007
物理フラクチュオマティクス論(東北大)
2
ベイズの公式による確率的推論の例（１）
A 教授はたいへん謹厳でこわい人で，機嫌の悪いときが 3/4 を占め，
機嫌のよい期間はわずかの 1/4 にすぎない．
教授には美人の秘書がいるが，よく観察してみると，教授の機嫌の
よいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8
回中 1 回にすぎない．
教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回で
ある．
秘書の機嫌からベイズの公式を使って教授の機嫌を確率的に推論
することができる.
甘利俊一：情報理論 (ダイヤモンド社，1970) より
7 May, 2007
物理フラクチュオマティクス論(東北大)
3
ベイズの公式による確率的推論の例（２）
教授は機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの
1/4 にすぎない．
Pr 教授機嫌良い

1
4
Pr 教授機嫌悪い

3
4
教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，
悪いのは 8 回中 1 回にすぎない．

Pr 秘書機嫌良い
教授機嫌良い
 7
8
教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である．

Pr 秘書機嫌良い
7 May, 2007
教授機嫌悪い
 1
4
物理フラクチュオマティクス論(東北大)
4
ベイズの公式による確率的推論の例（３）
Pr 秘書機嫌良し


 Pr 秘書機嫌良し
 Pr 秘書機嫌良し

7

8
1
4

1

4
3
4

教授機嫌良し
教授機嫌悪い
13
32
Pr 教授機嫌良い

Pr 秘書機嫌良い
7 May, 2007
Pr 教授機嫌良し 
Pr 教授機嫌悪い 
教授機嫌悪い

1
Pr 教授機嫌悪い
4
 1
4

Pr 秘書機嫌良い
物理フラクチュオマティクス論(東北大)

3
4
教授機嫌良い
 7
8
5
ベイズの公式による確率的推論の例（４）

Pr 教授機嫌良し

Pr 秘書機嫌良し


秘書機嫌良し
教授機嫌良し
Pr 教授機嫌良し 
Pr 秘書機嫌良し

Pr 秘書機嫌良い
教授機嫌良い

7

 8

1
4  7
13
13
32
Pr 教授機嫌良い  
8
Pr 秘書機嫌良い
7 May, 2007
7
物理フラクチュオマティクス論(東北大)

1
4
13
32
6
統計的学習理論とデータ
観察により得られたデータから確率を求めた例
教授の機嫌のよいときは，8 回のうち 7 回までは秘書も機嫌がよく，
悪いのは 8 回中 1 回にすぎない．

Pr 秘書機嫌良い
教授機嫌良い
 7
8
すべての命題に対してデータが完全かつ十分に得られている場合
標本平均，標本分散などから確率を決定することができる．
「教授の機嫌の悪いときで，彼女の機嫌のよいとき」の
データが分からなかったらどうしよう?
不完全データ
7 May, 2007
物理フラクチュオマティクス論(東北大)
7
統計的学習理論とモデル選択
データから確率モデルの確率を推定する操作
モデル選択
統計的学習理論における確率モデルのモデル選択の代表例
最尤推定に基づく定式化
更なる
拡張
不完全データにも対応
EMアルゴリズムによるアルゴリズム化
確率伝搬法，マルコフ連鎖モンテカルロ法に
よるアルゴルズムの実装
赤池情報量基準(AIC)，赤池ベイズ情報量基準(ABIC) etc.
7 May, 2007
物理フラクチュオマティクス論(東北大)
8
最尤推定
データ
パラメータ
 ,
極値条件
 g0 


  g1 
g 
 


g

 N 1 

 ˆ , ˆ   arg max P  g  , 
  , 

P g  ,   

i0
  P g  ,  
0





   ˆ ,  ˆ
標本平均 ˆ 

1
2

exp  
gi   
2
2
2


2 
1



平均μと標準偏差σが与えられたと

g
きの確率密度関数をデータ
が与
2
えられたときの平均μと分散σ に対
する尤もらしさを表す関数（尤度関
数）とみなす．
  P g  ,  
0





   ˆ ,  ˆ
1
N
7 May, 2007
N 1

N 1

g i ˆ
2

i0
物理フラクチュオマティクス論(東北大)
1
N
N 1
 g i
2
 ˆ 
標本分散
i0
9
最尤推定
データ
 
ˆ , ˆ   arg max P f , g  , 
パラメータ

 f0 


  f1 
f 
 


 f

 N 1 
極値条件

 g0 


  g1 
g 
 


g

 N 1 
  P g  ,  
0





   ˆ ,  ˆ
  , 


 
 

 
P f , g  ,  P g f , P f 



 
P g f , 

N 1

i0
1
2 
2
1

2 


exp  
g

f

i
i
2
 2


P f 
N 1

  2
exp  
fi 
2
 2

  
  P g  ,  
0





   ˆ ,  ˆ
 1 N 1

2

 
f
N  i 
i0


7 May, 2007

i0
1

2
物理フラクチュオマティクス論(東北大)

1
N
N 1
 g
i
 fi 
2
i 1
10
最尤推定

f
が分からなかったらどうしよう

ˆ  arg max P  g 
データ
ハイパパラメータ


 f0 


  f1 
f 
 


 f

 N 1 
不完全
データ

極値条件
パラメータ
 g0 


  g1 
g 
 


g

 N 1 
ˆ   1 
2
 

 
P g f , P f
 
P f g , 

P g  
7 May, 2007

 

f


 
P g f , 
N 1

i0
1
2 
2

f
N 1
  
i0
1
 
2
i
わかっている場合
i 1
ˆ
f 
 1 2
exp   f i 
2
 2

1

まず P f は完全に
N 1
g
 

 
P g f , P f
1

2 


exp  
g

f

i
i
2
 2


P f 
N
ベイズの公式

  
 
P f,g 
  P  g   1,   
0





   ˆ
不完全
データ


P g   
周辺尤度
を考えよう．

物理フラクチュオマティクス論(東北大)
  

f P f g , ˆ d f


11
信号処理の確率モデル
観測信号
 原信号  白色ガウス雑音
雑音
gi
fi
i
i
通信路
原信号
観測信号
事後確率
  


Pr 原信号 観測信号  
ベイズの公式
7 May, 2007
事前確率
  尤度
    

Pr 観測信号 | 原信号 Pr 原信号 
Pr 観測信号 

周辺尤度
物理フラクチュオマティクス論(東北大)
12
原信号の事前確率

P f  


1
Z Prior
 1
2
exp      f i  f j 
 2
ij  B





画像データの場合
1次元信号データの場合
Ω：すべてのノード
（画素）の集合
7 May, 2007
B：すべての最近接
ノード（画素）対の集合
物理フラクチュオマティクス論(東北大)
13
データ生成過程
加法的白色ガウス雑音 (Additive White Gaussian Noise)


 
P g f , 

i 
1
2 
2
1

exp  
 2

2
 f i  g i 2 

g i  f i ~ N 0 , 
7 May, 2007
物理フラクチュオマティクス論(東北大)
2

14
信号処理の確率モデル
パラメータ
不完全
データ
 f0 


  f1 
f 
 


 f

 N 1 

データ
 g0 


  g1 
g 
 


g

 N 1 

gi
fi
i
ハイパパラメータ


 
P g f , 
1

2 
i 

P f 
 
fˆi 

Z prior
 

fi P f g , , df

 
P f g , , 

事後確率
7 May, 2007
 1
2 


exp


f

f
  2 i j 


ij  B
1
i

2
1

2 


exp  
g

f

i
i
2
 2

物理フラクチュオマティクス論(東北大)




 
 

 
P g f , P f 


 
P g f , P f  df
15
信号処理の最尤推定
パラメータ

不完全
データ
 f0 


  f1 
f 
 


 f

N
1


ハイパパラメータ

データ
 g0 


  g1 
g 
 


g

N
1



ˆ , ˆ   arg max P  g  , 
  , 

P g  ,   


 


 
 P g f , P f  df
周辺尤度
極値条件
 P g  ,  
  P g  ,  
 0, 
0






   ˆ ,  ˆ

   ˆ ,  ˆ
7 May, 2007
物理フラクチュオマティクス論(東北大)
16
最尤推定とEMアルゴリズム
パラメータ

不完全
データ
 f0 


  f1 
f 
 


 f

 N 1 

データ

P g  ,   
 g0 


  g1 
g 
 


g

 N 1 
ハイパパラメータ
E Step : Calculate
Q  ,   ( t ),  ( t ) 
M Step : Update

 


 
 P g f , P f  df
周辺尤度
Q関数
Q  ,   ,   
 
 

  P f g ,  ,   ln P f , g  ,  d f




  Q  ,   ,    
0





     ,   
  Q  ,   ,    
0




     ,   
α ( t  1) ,σ ( t  1) 
 arg max Q  ,   ( t ),  ( t ) 
(  , )
EM アルゴリズムが収束すれば
周辺尤度の極値条件の解になる．
7 May, 2007
 P g  ,  
  P g  ,  

0
,
0









   ˆ ,  ˆ

   ˆ ,  ˆ
物理フラクチュオマティクス論(東北大)
極値条件
17
1次元信号のモデル選択
EM Algorithm
Original Signal
200
fi
100
0.04
0
Degraded Signal
200
0
127
i
255
i
255
0.03
α(t)
0.02
gi
  40
100
0
0
Estimated Signal
127
0.01
200
fˆi
0
100
0
7 May, 2007
0
127
i
255
α(0)=0.0001, σ(0)=100
物理フラクチュオマティクス論(東北大)
18
ノイズ除去のモデル選択
MSE
  40
原画像
327
劣化画像
推定画像
ˆ
0.000611
ˆ
36.30
EMアルゴリズムと
確率伝搬法
α(0)=0.0001
σ(0)=100
MSE 
7 May, 2007
1
 f
|  | i 
i
 fˆi

2
MSE
ˆ
260
0.000574
物理フラクチュオマティクス論(東北大)
ˆ
34.00
19
まとめ
最尤推定とEMアルゴリズム
ガウシアングラフィカルモデルに
よる統計的推定
7 May, 2007
物理フラクチュオマティクス論(東北大)
20