Transcript PPT
物理フラクチュオマティクス論
Physical Fluctuomatics
第4回 最尤推定とEMアルゴリズム
4th Maximum likelihood estimation and EM algorithm
東北大学 大学院情報科学研究科 応用情報科学専攻
田中 和之(Kazuyuki Tanaka)
[email protected]
http://www.smapip.is.tohoku.ac.jp/~kazu/
7 May, 2007
物理フラクチュオマティクス論(東北大)
1
今回の講義の講義ノート
田中和之著:
確率モデルによる画像処理技術入門,
森北出版,第4章,2006.
7 May, 2007
物理フラクチュオマティクス論(東北大)
2
ベイズの公式による確率的推論の例(1)
A 教授はたいへん謹厳でこわい人で,機嫌の悪いときが 3/4 を占め,
機嫌のよい期間はわずかの 1/4 にすぎない.
教授には美人の秘書がいるが,よく観察してみると,教授の機嫌の
よいときは,8 回のうち 7 回までは彼女も機嫌がよく,悪いのは 8
回中 1 回にすぎない.
教授の機嫌の悪いときで,彼女の機嫌のよいときは 4 回に 1 回で
ある.
秘書の機嫌からベイズの公式を使って教授の機嫌を確率的に推論
することができる.
甘利俊一:情報理論 (ダイヤモンド社,1970) より
7 May, 2007
物理フラクチュオマティクス論(東北大)
3
ベイズの公式による確率的推論の例(2)
教授は機嫌の悪いときが 3/4 を占め,機嫌のよい期間はわずかの
1/4 にすぎない.
Pr 教授機嫌良い
1
4
Pr 教授機嫌悪い
3
4
教授の機嫌のよいときは,8 回のうち 7 回までは彼女も機嫌がよく,
悪いのは 8 回中 1 回にすぎない.
Pr 秘書機嫌良い
教授機嫌良い
7
8
教授の機嫌の悪いときで,彼女の機嫌のよいときは 4 回に 1 回である.
Pr 秘書機嫌良い
7 May, 2007
教授機嫌悪い
1
4
物理フラクチュオマティクス論(東北大)
4
ベイズの公式による確率的推論の例(3)
Pr 秘書機嫌良し
Pr 秘書機嫌良し
Pr 秘書機嫌良し
7
8
1
4
1
4
3
4
教授機嫌良し
教授機嫌悪い
13
32
Pr 教授機嫌良い
Pr 秘書機嫌良い
7 May, 2007
Pr 教授機嫌良し
Pr 教授機嫌悪い
教授機嫌悪い
1
Pr 教授機嫌悪い
4
1
4
Pr 秘書機嫌良い
物理フラクチュオマティクス論(東北大)
3
4
教授機嫌良い
7
8
5
ベイズの公式による確率的推論の例(4)
Pr 教授機嫌良し
Pr 秘書機嫌良し
秘書機嫌良し
教授機嫌良し
Pr 教授機嫌良し
Pr 秘書機嫌良し
Pr 秘書機嫌良い
教授機嫌良い
7
8
1
4 7
13
13
32
Pr 教授機嫌良い
8
Pr 秘書機嫌良い
7 May, 2007
7
物理フラクチュオマティクス論(東北大)
1
4
13
32
6
統計的学習理論とデータ
観察により得られたデータから確率を求めた例
教授の機嫌のよいときは,8 回のうち 7 回までは秘書も機嫌がよく,
悪いのは 8 回中 1 回にすぎない.
Pr 秘書機嫌良い
教授機嫌良い
7
8
すべての命題に対してデータが完全かつ十分に得られている場合
標本平均,標本分散などから確率を決定することができる.
「教授の機嫌の悪いときで,彼女の機嫌のよいとき」の
データが分からなかったらどうしよう?
不完全データ
7 May, 2007
物理フラクチュオマティクス論(東北大)
7
統計的学習理論とモデル選択
データから確率モデルの確率を推定する操作
モデル選択
統計的学習理論における確率モデルのモデル選択の代表例
最尤推定に基づく定式化
更なる
拡張
不完全データにも対応
EMアルゴリズムによるアルゴリズム化
確率伝搬法,マルコフ連鎖モンテカルロ法に
よるアルゴルズムの実装
赤池情報量基準(AIC),赤池ベイズ情報量基準(ABIC) etc.
7 May, 2007
物理フラクチュオマティクス論(東北大)
8
最尤推定
データ
パラメータ
,
極値条件
g0
g1
g
g
N 1
ˆ , ˆ arg max P g ,
,
P g ,
i0
P g ,
0
ˆ , ˆ
標本平均 ˆ
1
2
exp
gi
2
2
2
2
1
平均μと標準偏差σが与えられたと
g
きの確率密度関数をデータ
が与
2
えられたときの平均μと分散σ に対
する尤もらしさを表す関数(尤度関
数)とみなす.
P g ,
0
ˆ , ˆ
1
N
7 May, 2007
N 1
N 1
g i ˆ
2
i0
物理フラクチュオマティクス論(東北大)
1
N
N 1
g i
2
ˆ
標本分散
i0
9
最尤推定
データ
ˆ , ˆ arg max P f , g ,
パラメータ
f0
f1
f
f
N 1
極値条件
g0
g1
g
g
N 1
P g ,
0
ˆ , ˆ
,
P f , g , P g f , P f
P g f ,
N 1
i0
1
2
2
1
2
exp
g
f
i
i
2
2
P f
N 1
2
exp
fi
2
2
P g ,
0
ˆ , ˆ
1 N 1
2
f
N i
i0
7 May, 2007
i0
1
2
物理フラクチュオマティクス論(東北大)
1
N
N 1
g
i
fi
2
i 1
10
最尤推定
f
が分からなかったらどうしよう
ˆ arg max P g
データ
ハイパパラメータ
f0
f1
f
f
N 1
不完全
データ
極値条件
パラメータ
g0
g1
g
g
N 1
ˆ 1
2
P g f , P f
P f g ,
P g
7 May, 2007
f
P g f ,
N 1
i0
1
2
2
f
N 1
i0
1
2
i
わかっている場合
i 1
ˆ
f
1 2
exp f i
2
2
1
まず P f は完全に
N 1
g
P g f , P f
1
2
exp
g
f
i
i
2
2
P f
N
ベイズの公式
P f,g
P g 1,
0
ˆ
不完全
データ
P g
周辺尤度
を考えよう.
物理フラクチュオマティクス論(東北大)
f P f g , ˆ d f
11
信号処理の確率モデル
観測信号
原信号 白色ガウス雑音
雑音
gi
fi
i
i
通信路
原信号
観測信号
事後確率
Pr 原信号 観測信号
ベイズの公式
7 May, 2007
事前確率
尤度
Pr 観測信号 | 原信号 Pr 原信号
Pr 観測信号
周辺尤度
物理フラクチュオマティクス論(東北大)
12
原信号の事前確率
P f
1
Z Prior
1
2
exp f i f j
2
ij B
画像データの場合
1次元信号データの場合
Ω:すべてのノード
(画素)の集合
7 May, 2007
B:すべての最近接
ノード(画素)対の集合
物理フラクチュオマティクス論(東北大)
13
データ生成過程
加法的白色ガウス雑音 (Additive White Gaussian Noise)
P g f ,
i
1
2
2
1
exp
2
2
f i g i 2
g i f i ~ N 0 ,
7 May, 2007
物理フラクチュオマティクス論(東北大)
2
14
信号処理の確率モデル
パラメータ
不完全
データ
f0
f1
f
f
N 1
データ
g0
g1
g
g
N 1
gi
fi
i
ハイパパラメータ
P g f ,
1
2
i
P f
fˆi
Z prior
fi P f g , , df
P f g , ,
事後確率
7 May, 2007
1
2
exp
f
f
2 i j
ij B
1
i
2
1
2
exp
g
f
i
i
2
2
物理フラクチュオマティクス論(東北大)
P g f , P f
P g f , P f df
15
信号処理の最尤推定
パラメータ
不完全
データ
f0
f1
f
f
N
1
ハイパパラメータ
データ
g0
g1
g
g
N
1
ˆ , ˆ arg max P g ,
,
P g ,
P g f , P f df
周辺尤度
極値条件
P g ,
P g ,
0,
0
ˆ , ˆ
ˆ , ˆ
7 May, 2007
物理フラクチュオマティクス論(東北大)
16
最尤推定とEMアルゴリズム
パラメータ
不完全
データ
f0
f1
f
f
N 1
データ
P g ,
g0
g1
g
g
N 1
ハイパパラメータ
E Step : Calculate
Q , ( t ), ( t )
M Step : Update
P g f , P f df
周辺尤度
Q関数
Q , ,
P f g , , ln P f , g , d f
Q , ,
0
,
Q , ,
0
,
α ( t 1) ,σ ( t 1)
arg max Q , ( t ), ( t )
( , )
EM アルゴリズムが収束すれば
周辺尤度の極値条件の解になる.
7 May, 2007
P g ,
P g ,
0
,
0
ˆ , ˆ
ˆ , ˆ
物理フラクチュオマティクス論(東北大)
極値条件
17
1次元信号のモデル選択
EM Algorithm
Original Signal
200
fi
100
0.04
0
Degraded Signal
200
0
127
i
255
i
255
0.03
α(t)
0.02
gi
40
100
0
0
Estimated Signal
127
0.01
200
fˆi
0
100
0
7 May, 2007
0
127
i
255
α(0)=0.0001, σ(0)=100
物理フラクチュオマティクス論(東北大)
18
ノイズ除去のモデル選択
MSE
40
原画像
327
劣化画像
推定画像
ˆ
0.000611
ˆ
36.30
EMアルゴリズムと
確率伝搬法
α(0)=0.0001
σ(0)=100
MSE
7 May, 2007
1
f
| | i
i
fˆi
2
MSE
ˆ
260
0.000574
物理フラクチュオマティクス論(東北大)
ˆ
34.00
19
まとめ
最尤推定とEMアルゴリズム
ガウシアングラフィカルモデルに
よる統計的推定
7 May, 2007
物理フラクチュオマティクス論(東北大)
20