Transcript PPT
物理フラクチュオマティクス論
Physical Fluctuomatics
第6回 線形モデルによる統計的推定
6th Linear models and statistical inferences
東北大学 大学院情報科学研究科 応用情報科学専攻
田中 和之(Kazuyuki Tanaka)
[email protected]
http://www.smapip.is.tohoku.ac.jp/~kazu/
本講義のWebpage:
http://www.smapip.is.tohoku.ac.jp/~kazu/PhysicalFluctuomatics/2007/
15 May, 2007
物理フラクチュオマティクス論(東北大)
1
今回の講義の講義ノート
田中和之著:
確率モデルによる画像処理技術入門,
森北出版,第4章,2006.
15 May, 2007
物理フラクチュオマティクス論(東北大)
2
ベイズの公式による確率的推論の例(1)
A 教授はたいへん謹厳でこわい人で,機嫌の悪いときが 3/4 を占め,
機嫌のよい期間はわずかの 1/4 にすぎない.
教授には美人の秘書がいるが,よく観察してみると,教授の機嫌の
よいときは,8 回のうち 7 回までは彼女も機嫌がよく,悪いのは 8
回中 1 回にすぎない.
教授の機嫌の悪いときで,彼女の機嫌のよいときは 4 回に 1 回で
ある.
秘書の機嫌からベイズの公式を使って教授の機嫌を確率的に推論
することができる.
甘利俊一:情報理論 (ダイヤモンド社,1970) より
15 May, 2007
物理フラクチュオマティクス論(東北大)
3
ベイズの公式による確率的推論の例(2)
教授は機嫌の悪いときが 3/4 を占め,機嫌のよい期間はわずかの
1/4 にすぎない.
Pr 教授機嫌良い
1
4
Pr 教授機嫌悪い
3
4
教授の機嫌のよいときは,8 回のうち 7 回までは彼女も機嫌がよく,
悪いのは 8 回中 1 回にすぎない.
Pr 秘書機嫌良い
教授機嫌良い
7
8
教授の機嫌の悪いときで,彼女の機嫌のよいときは 4 回に 1 回である.
Pr 秘書機嫌良い
15 May, 2007
教授機嫌悪い
1
4
物理フラクチュオマティクス論(東北大)
4
ベイズの公式による確率的推論の例(3)
Pr 秘書機嫌良し
Pr 秘書機嫌良し
Pr 秘書機嫌良し
7
8
1
4
1
4
3
4
教授機嫌良し
教授機嫌悪い
13
32
Pr 教授機嫌良い
Pr 秘書機嫌良い
15 May, 2007
Pr 教授機嫌良し
Pr 教授機嫌悪い
教授機嫌悪い
1
Pr 教授機嫌悪い
4
1
4
Pr 秘書機嫌良い
物理フラクチュオマティクス論(東北大)
3
4
教授機嫌良い
7
8
5
ベイズの公式による確率的推論の例(4)
Pr 教授機嫌良し
Pr 秘書機嫌良し
秘書機嫌良し
教授機嫌良し
Pr 教授機嫌良し
Pr 秘書機嫌良し
Pr 秘書機嫌良い
教授機嫌良い
7
8
1
4 7
13
13
32
Pr 教授機嫌良い
8
Pr 秘書機嫌良い
15 May, 2007
7
物理フラクチュオマティクス論(東北大)
1
4
13
32
6
統計的学習理論とデータ
観察により得られたデータから確率を求めた例
教授の機嫌のよいときは,8 回のうち 7 回までは秘書も機嫌がよく,
悪いのは 8 回中 1 回にすぎない.
Pr 秘書機嫌良い
教授機嫌良い
7
8
すべての命題に対してデータが完全かつ十分に得られている場合
標本平均,標本分散などから確率を決定することができる.
「教授の機嫌の悪いときで,彼女の機嫌のよいとき」の
データが分からなかったらどうしよう?
不完全データ
15 May, 2007
物理フラクチュオマティクス論(東北大)
7
統計的学習理論とモデル選択
データから確率モデルの確率を推定する操作
モデル選択
統計的学習理論における確率モデルのモデル選択の代表例
最尤推定に基づく定式化
更なる
拡張
不完全データにも対応
EMアルゴリズムによるアルゴリズム化
確率伝搬法,マルコフ連鎖モンテカルロ法に
よるアルゴルズムの実装
赤池情報量基準(AIC),赤池ベイズ情報量基準(ABIC) etc.
15 May, 2007
物理フラクチュオマティクス論(東北大)
8
最尤推定
データ
パラメータ
,
極値条件
g0
g1
g
g
N 1
ˆ , ˆ arg max P g ,
,
P g ,
1
2
i0
P g ,
0
ˆ , ˆ
N 1
g
i
2
i0
15 May, 2007
2
1
2
exp
g
i
2
2
平均μと標準偏差σが与えられたと
g
きの確率密度関数をデータ
が与
2
えられたときの平均μと分散σ に対
する尤もらしさを表す関数(尤度関
数)とみなす.
P g ,
0
ˆ , ˆ
標本平均
N 1
物理フラクチュオマティクス論(東北大)
1
N
N
g
i
2
標本分散
i 1
9
最尤推定
データ
ˆ , ˆ arg max P f , g ,
パラメータ
f0
f1
f
f
N 1
極値条件
g0
g1
g
g
N 1
P g ,
0
ˆ , ˆ
,
P g f ,
2
fi
i0
15 May, 2007
P f , g , P g f , P f
N 1
i0
1
2
2
1
2
exp
g
f
i
i
2
2
P f
N 1
2
exp
fi
2
2
P g ,
0
ˆ , ˆ
N 1
i0
1
2
物理フラクチュオマティクス論(東北大)
1
N
N 1
g
i
fi
2
i 1
10
最尤推定
f
が分からなかったらどうしよう
ˆ arg max P g
データ
ハイパパラメータ
f0
f1
f
f
N 1
不完全
データ
極値条件
パラメータ
g0
g1
g
g
N 1
ˆ 1
2
P g f , P f
P f g ,
P g
15 May, 2007
f
P g f ,
N 1
i0
1
2
2
f
N 1
i0
1
2
i
わかっている場合
i 1
ˆ
f
1 2
exp f i
2
2
1
まず P f は完全に
N 1
g
P g f , P f
1
2
exp
g
f
i
i
2
2
P f
N
ベイズの公式
P f,g
P g 1,
0
ˆ
不完全
データ
P g
周辺尤度
を考えよう.
物理フラクチュオマティクス論(東北大)
f P f g , ˆ d f
11
信号処理の確率モデル
観測信号
原信号 白色ガウス雑音
雑音
gi
fi
i
i
通信路
原信号
観測信号
事後確率
Pr 原信号 観測信号
ベイズの公式
15 May, 2007
事前確率
尤度
Pr 観測信号 | 原信号 Pr 原信号
Pr 観測信号
周辺尤度
物理フラクチュオマティクス論(東北大)
12
原信号の事前確率
P f
1
Z Prior
1
2
exp f i f j
2
ij B
画像データの場合
1次元信号データの場合
Ω:すべてのノード
(画素)の集合
15 May, 2007
B:すべての最近接
ノード(画素)対の集合
物理フラクチュオマティクス論(東北大)
13
データ生成過程
加法的白色ガウス雑音 (Additive White Gaussian Noise)
P g f ,
i
1
2
2
1
exp
2
2
f i g i 2
g i f i ~ N 0 ,
15 May, 2007
物理フラクチュオマティクス論(東北大)
2
14
信号処理の確率モデル
パラメータ
不完全
データ
f0
f1
f
f
N 1
データ
g0
g1
g
g
N 1
gi
fi
i
ハイパパラメータ
P g f ,
1
2
i
P f
fˆi
Z prior
fi P f g , , df
P f g , ,
事後確率
15 May, 2007
1
2
exp
f
f
2 i j
ij B
1
i
2
1
2
exp
g
f
i
i
2
2
物理フラクチュオマティクス論(東北大)
P g f , P f
P g f , P f df
15
信号処理の最尤推定
パラメータ
不完全
データ
f0
f1
f
f
N
1
ハイパパラメータ
データ
g0
g1
g
g
N
1
ˆ , ˆ arg max P g ,
,
P g ,
P g f , P f df
周辺尤度
極値条件
P g ,
P g ,
0,
0
ˆ , ˆ
ˆ , ˆ
15 May, 2007
物理フラクチュオマティクス論(東北大)
16
最尤推定とEMアルゴリズム
パラメータ
不完全
データ
f0
f1
f
f
N 1
データ
P g ,
g0
g1
g
g
N 1
ハイパパラメータ
E Step : Calculate
Q , ( t ), ( t )
M Step : Update
P g f , P f df
周辺尤度
Q関数
Q , ,
P f g , , ln P f , g , d f
Q , ,
0
,
Q , ,
0
,
α ( t 1) ,σ ( t 1)
arg max Q , ( t ), ( t )
( , )
EM アルゴリズムが収束すれば
周辺尤度の極値条件の解になる.
15 May, 2007
P g ,
P g ,
0
,
0
ˆ , ˆ
ˆ , ˆ
物理フラクチュオマティクス論(東北大)
極値条件
17
1次元信号のモデル選択
EM Algorithm
Original Signal
200
fi
100
0.04
0
Degraded Signal
200
0
127
i
255
i
255
0.03
α(t)
0.02
gi
40
100
0
0
Estimated Signal
127
0.01
200
fˆi
0
100
0
15 May, 2007
0
127
i
255
α(0)=0.0001, σ(0)=100
物理フラクチュオマティクス論(東北大)
18
ノイズ除去のモデル選択
MSE
40
原画像
327
劣化画像
推定画像
ˆ
0.000611
ˆ
36.30
EMアルゴリズムと
確率伝搬法
α(0)=0.0001
σ(0)=100
MSE
15 May, 2007
1
f
| | i
i
fˆi
2
MSE
ˆ
260
0.000574
物理フラクチュオマティクス論(東北大)
ˆ
34.00
19
ガウス混合モデル
(0)
(1)
( K 1)
a0
a1
a
a
N 1
a0
a1
a
a
N
1
P a
N
i 1
15 May, 2007
a
i
i 1
(1)
(1)
(2) (2)
,
(K )
(K )
P f a , ,
N
K
k 1
k 1
f0
f1
f
f
N 1
1
exp
2 a 2
2 a i
i
1
物理フラクチュオマティクス論(東北大)
f i a i
2
20
ガウス混合モデルのベイズ推定
事後確率
パラメータ
不完全
データ
a0
a1
a
a
N 1
P a f , , ,
P f a , , P a
P f a , , P a
データ
f0
f1
f
f
N 1
ベイズの公式
a
P a
N
a
i
i 1
ハイパパラメータ
P f a , ,
N
i 1
15 May, 2007
1
exp
2 a 2
2 a i
i
1
物理フラクチュオマティクス論(東北大)
f i a i
21
2
ガウス混合モデルのEMアルゴリズム
パラメータ
不完全
データ
a0
a1
a
a
N 1
1 64 , 2 127 ,
周辺尤度
P f μ , σ ,
P f a , μ , σ P a γ
データ
f0
f1
f
f
N 1
a
N
K
i 1 k 1
3 192 , 4 192 ,
1 2
3 4 10
f i k 2
exp
2
2
k
2 k
k
ˆ , ˆ , ˆ arg max P f , ,
ハイパパラメータ
, ,
Q , , , ,
a
P a f , , , ln P a , f , ,
EM アルゴリズム
( t 1), ( t 1) ,σ ( t 1) arg max
Q , , ( t ), ( t ), ( t )
( , , )
15 May, 2007
物理フラクチュオマティクス論(東北大)
22
ガウス混合モデルの数値実験
P f a , ,
観測データ
観測データの
ヒストグラム
1 64 , 2 127 ,
3 192 , 4 192 ,
P a γ
1 2 3 4 10
周辺確率
P f μ , σ ,
P f a , μ , σ P a γ
推定結果
ˆ 1 63 . 4 , ˆ 2 91 . 6 ,
N
ˆ 1 7 . 5 , ˆ 2 7 . 5
ˆ 3 7 . 5 , ˆ 4 7 . 6
ˆ 3 0 . 53 , ˆ 4 0 . 11
a
ˆ 3 127 . 5 , ˆ 4 191 . 5 ,
ˆ 1 0 . 20 , ˆ 2 0 . 16
K
i 1 k 1
P a f , , ,
f i k 2
exp
2
2
k
2 k
k
P f a , , P a
P
f
a
,
,
P
a
a
15 May, 2007
物理フラクチュオマティクス論(東北大)
事後確率
23
ガウス混合モデルの数値実験
a
P f a , ,
f
1 64 , 2 127 ,
3 192 , 4 192 ,
1 2 3 4 20
Gauss Mixture Model
P a γ
a
exp a i , a j
i
Z PR γ i
ij B
1
ポッツモデル
15 May, 2007
+Potts Model
+EM Algorithm
+Belief Propagation
aˆ
物理フラクチュオマティクス論(東北大)
24
ガウス混合モデルによる
領域分割の数値実験
観測画像
ヒストグラム
1 12 . 7 , 1 2 . 7 , 1 0 . 1831
Gauss Mixture
Gauss Mixture
Model
Model and
Potts Model
2 42 . 2 , 2 18 . 0 , 2 0 . 0711
3 130 . 6 , 3 23 . 6 , 3 0 . 3375
Belief
4 168 . 4 , 4 11 . 7 , 4 0 . 3982
Propagation
5 224 . 8 , 5 14 . 4 , 5 0 . 0101
15 May, 2007
物理フラクチュオマティクス論(東北大)
25
統計的学習理論による移動体検出
a
Segmentation
ab
b
bc
Detection
AND
Segmentation
c
Gauss Mixture Model and Potts Model with Belief Propagation
15 May, 2007
物理フラクチュオマティクス論(東北大)
26
ベイジアンネットとインターネット
観察により得られたデータから確率を求めた例
教授の機嫌のよいときは,8 回のうち 7 回までは秘書も機嫌がよく,
悪いのは 8 回中 1 回にすぎない.
Pr 秘書機嫌良い
教授機嫌良い
7
8
アンケート調査等によるデータの収集
従来はデータ収集自体が大変な作業であった
インターネットの登場により,アンケートを通して膨大な
データを一度に回収することが可能
膨大なデータから如何に効率よく本質を抽出したベ
イジアンネットを構成し,計算にのせるか?
15 May, 2007
物理フラクチュオマティクス論(東北大)
27
項目応答理論 (Item Response Theory)
問題設定:
M人の受験者に N 問の問題を出題し,採点によ
り得られたデータから各受験者の能力と各問題
の難易度を同時に推定したい.
インターネット上で選択形式の試験を実施することに
より,場所と採点要員の確保の手間を解消し,膨大
な受験者のデータを収集することが可能.
15 May, 2007
物理フラクチュオマティクス論(東北大)
28
項目応答理論 (Item Response Theory)
簡単な問題設定:
M 人の受験者に 1 問の問題を出題し,
採点により得られたデータからその問
題の難易度を同時に推定したい.
qˆ 1
1
M
q
1
2
3
M
X
i
i 1
i 番目の受験者が正答 Xi=1
i 番目の受験者が不正答 Xi=0
いったい何人間違えたかを数えればよい.
M
最尤法
qˆ arg max
q
Pr X q
i
i 1
M個のデータ
15 May, 2007
Pr X i 0 q q
1 個のパラメータ
物理フラクチュオマティクス論(東北大)
29
項目応答理論 (Item Response Theory)
基本的な問題設定:
M 人の受験者に N 問の問題を出題し,採点により得られ
たデータからその問題の難易度を同時に推定したい.
最尤法
pˆ 1 , , pˆ M , qˆ1 , , qˆ N arg
Pr X
M
max
p1 , , p M , q1 , , q N
パラメータの推定値
i 1
N
pi , q j
j 1
MN個のデータ
i 番目の受験者が j 番
目の問題を正答 Xij=1
ij
M+N個の
パラメータ
i 番目の受験者が j 番目
の問題を不正答 Xij=0
Pr X ij 1 p i , q j p i 1 q j
15 May, 2007
物理フラクチュオマティクス論(東北大)
30
項目応答理論のグラフ表現
q1
q2
X 11
たくさんのデータがパラメータを介し
て関連しながらランダムに生成
q3
p1
X
21
X 31
X 12
p2
X
X 11
X 21
X
X
M1
22
X 32
物理的計算技法が使える
15 May, 2007
物理フラクチュオマティクス論(東北大)
p
X 12
X 22
XM2
X 1n
X 2N
X MN
p1
q1
p2 q2
q
q
p M
N
31
「項目応答理論+ベイジアンネット」の広い守備範囲
試験の実施によるデータの統計解析
問題の難易度
商品の人気度
受験者の能力
顧客の購買力
インターネット上の商取引におけるデータの統計解析への転用
ベイジアンネットと組み合わせることで顧客の年齢,性別,
職種などの属性を考慮したWebデータマイニングシステム
への進化が期待される
Web上で得られるデータの統計解析に対する
強固な理論的基盤の形成
15 May, 2007
物理フラクチュオマティクス論(東北大)
32
まとめ
最尤推定とEMアルゴリズム
ガウス混合モデル
項目応答理論
15 May, 2007
物理フラクチュオマティクス論(東北大)
33