Transcript PPT

物理フラクチュオマティクス論
Physical Fluctuomatics
第6回 線形モデルによる統計的推定
6th Linear models and statistical inferences
東北大学 大学院情報科学研究科 応用情報科学専攻
田中 和之(Kazuyuki Tanaka)
[email protected]
http://www.smapip.is.tohoku.ac.jp/~kazu/
本講義のWebpage:
http://www.smapip.is.tohoku.ac.jp/~kazu/PhysicalFluctuomatics/2007/
15 May, 2007
物理フラクチュオマティクス論(東北大)
1
今回の講義の講義ノート
田中和之著：
確率モデルによる画像処理技術入門，
森北出版，第４章，2006．
15 May, 2007
物理フラクチュオマティクス論(東北大)
2
ベイズの公式による確率的推論の例（１）
A 教授はたいへん謹厳でこわい人で，機嫌の悪いときが 3/4 を占め，
機嫌のよい期間はわずかの 1/4 にすぎない．
教授には美人の秘書がいるが，よく観察してみると，教授の機嫌の
よいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8
回中 1 回にすぎない．
教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回で
ある．
秘書の機嫌からベイズの公式を使って教授の機嫌を確率的に推論
することができる.
甘利俊一：情報理論 (ダイヤモンド社，1970) より
15 May, 2007
物理フラクチュオマティクス論(東北大)
3
ベイズの公式による確率的推論の例（２）
教授は機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの
1/4 にすぎない．
Pr 教授機嫌良い

1
4
Pr 教授機嫌悪い

3
4
教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，
悪いのは 8 回中 1 回にすぎない．

Pr 秘書機嫌良い
教授機嫌良い
 7
8
教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である．

Pr 秘書機嫌良い
15 May, 2007
教授機嫌悪い
 1
4
物理フラクチュオマティクス論(東北大)
4
ベイズの公式による確率的推論の例（３）
Pr 秘書機嫌良し


 Pr 秘書機嫌良し
 Pr 秘書機嫌良し

7

8
1
4

1

4
3
4

教授機嫌良し
教授機嫌悪い
13
32
Pr 教授機嫌良い

Pr 秘書機嫌良い
15 May, 2007
Pr 教授機嫌良し 
Pr 教授機嫌悪い 
教授機嫌悪い

1
Pr 教授機嫌悪い
4
 1
4

Pr 秘書機嫌良い
物理フラクチュオマティクス論(東北大)

3
4
教授機嫌良い
 7
8
5
ベイズの公式による確率的推論の例（４）

Pr 教授機嫌良し

Pr 秘書機嫌良し


秘書機嫌良し
教授機嫌良し
Pr 教授機嫌良し 
Pr 秘書機嫌良し

Pr 秘書機嫌良い
教授機嫌良い

7

 8

1
4  7
13
13
32
Pr 教授機嫌良い  
8
Pr 秘書機嫌良い
15 May, 2007
7
物理フラクチュオマティクス論(東北大)

1
4
13
32
6
統計的学習理論とデータ
観察により得られたデータから確率を求めた例
教授の機嫌のよいときは，8 回のうち 7 回までは秘書も機嫌がよく，
悪いのは 8 回中 1 回にすぎない．

Pr 秘書機嫌良い
教授機嫌良い
 7
8
すべての命題に対してデータが完全かつ十分に得られている場合
標本平均，標本分散などから確率を決定することができる．
「教授の機嫌の悪いときで，彼女の機嫌のよいとき」の
データが分からなかったらどうしよう?
不完全データ
15 May, 2007
物理フラクチュオマティクス論(東北大)
7
統計的学習理論とモデル選択
データから確率モデルの確率を推定する操作
モデル選択
統計的学習理論における確率モデルのモデル選択の代表例
最尤推定に基づく定式化
更なる
拡張
不完全データにも対応
EMアルゴリズムによるアルゴリズム化
確率伝搬法，マルコフ連鎖モンテカルロ法に
よるアルゴルズムの実装
赤池情報量基準(AIC)，赤池ベイズ情報量基準(ABIC) etc.
15 May, 2007
物理フラクチュオマティクス論(東北大)
8
最尤推定
データ
パラメータ
 ,
極値条件
 g0 


  g1 
g 
 


g

 N 1 

 ˆ , ˆ   arg max P  g  , 
  , 

P g  ,   
1

2 
i0
  P g  ,  
0





   ˆ ,  ˆ
N 1
 
g
i

2

i0
15 May, 2007
2
1

2 


exp  
g



i
2
 2

平均μと標準偏差σが与えられたと

g
きの確率密度関数をデータ
が与
2
えられたときの平均μと分散σ に対
する尤もらしさを表す関数（尤度関
数）とみなす．
  P g  ,  
0





   ˆ ,  ˆ
標本平均
N 1

物理フラクチュオマティクス論(東北大)
1
N
N
 g
i
 
2
標本分散
i 1
9
最尤推定
データ
 
ˆ , ˆ   arg max P f , g  , 
パラメータ

 f0 


  f1 
f 
 


 f

 N 1 
極値条件

 g0 


  g1 
g 
 


g

 N 1 
  P g  ,  
0





   ˆ ,  ˆ
  , 



 
P g f , 

2 
    fi 
 i0

15 May, 2007


 
 

 
P f , g  ,  P g f , P f 

N 1

i0
1
2 
2
1

2 


exp  
g

f

i
i
2
 2


P f 
N 1

  2
exp  
fi 
2
 2

  
  P g  ,  
0





   ˆ ,  ˆ
N 1

i0
1

2
物理フラクチュオマティクス論(東北大)

1
N
N 1
 g
i
 fi 
2
i 1
10
最尤推定

f
が分からなかったらどうしよう

ˆ  arg max P  g 
データ
ハイパパラメータ


 f0 


  f1 
f 
 


 f

 N 1 
不完全
データ

極値条件
パラメータ
 g0 


  g1 
g 
 


g

 N 1 
ˆ   1 
2
 

 
P g f , P f
 
P f g , 

P g  
15 May, 2007

 

f


 
P g f , 
N 1

i0
1
2 
2

f
N 1
  
i0
1
 
2
i
わかっている場合
i 1
ˆ
f 
 1 2
exp   f i 
2
 2

1

まず P f は完全に
N 1
g
 

 
P g f , P f
1

2 


exp  
g

f

i
i
2
 2


P f 
N
ベイズの公式

  
 
P f,g 
  P  g   1,   
0





   ˆ
不完全
データ


P g   
周辺尤度
を考えよう．

物理フラクチュオマティクス論(東北大)
  

f P f g , ˆ d f


11
信号処理の確率モデル
観測信号
 原信号  白色ガウス雑音
雑音
gi
fi
i
i
通信路
原信号
観測信号
事後確率
  


Pr 原信号 観測信号  
ベイズの公式
15 May, 2007
事前確率
  尤度
    

Pr 観測信号 | 原信号 Pr 原信号 
Pr 観測信号 

周辺尤度
物理フラクチュオマティクス論(東北大)
12
原信号の事前確率

P f  


1
Z Prior
 1
2
exp      f i  f j 
 2
ij  B





画像データの場合
1次元信号データの場合
Ω：すべてのノード
（画素）の集合
15 May, 2007
B：すべての最近接
ノード（画素）対の集合
物理フラクチュオマティクス論(東北大)
13
データ生成過程
加法的白色ガウス雑音 (Additive White Gaussian Noise)


 
P g f , 

i 
1
2 
2
1

exp  
 2

2
 f i  g i 2 

g i  f i ~ N 0 , 
15 May, 2007
物理フラクチュオマティクス論(東北大)
2

14
信号処理の確率モデル
パラメータ
不完全
データ
 f0 


  f1 
f 
 


 f

 N 1 

データ
 g0 


  g1 
g 
 


g

 N 1 

gi
fi
i
ハイパパラメータ


 
P g f , 
1

2 
i 

P f 
 
fˆi 

Z prior
 

fi P f g , , df

 
P f g , , 

事後確率
15 May, 2007
 1
2 


exp


f

f
  2 i j 


ij  B
1
i

2
1

2 


exp  
g

f

i
i
2
 2

物理フラクチュオマティクス論(東北大)




 
 

 
P g f , P f 


 
P g f , P f  df
15
信号処理の最尤推定
パラメータ

不完全
データ
 f0 


  f1 
f 
 


 f

N
1


ハイパパラメータ

データ
 g0 


  g1 
g 
 


g

N
1



ˆ , ˆ   arg max P  g  , 
  , 

P g  ,   


 


 
 P g f , P f  df
周辺尤度
極値条件
 P g  ,  
  P g  ,  
 0, 
0






   ˆ ,  ˆ

   ˆ ,  ˆ
15 May, 2007
物理フラクチュオマティクス論(東北大)
16
最尤推定とEMアルゴリズム
パラメータ

不完全
データ
 f0 


  f1 
f 
 


 f

 N 1 

データ

P g  ,   
 g0 


  g1 
g 
 


g

 N 1 
ハイパパラメータ
E Step : Calculate
Q  ,   ( t ),  ( t ) 
M Step : Update

 


 
 P g f , P f  df
周辺尤度
Q関数
Q  ,   ,   
 
 

  P f g ,  ,   ln P f , g  ,  d f




  Q  ,   ,    
0





     ,   
  Q  ,   ,    
0




     ,   
α ( t  1) ,σ ( t  1) 
 arg max Q  ,   ( t ),  ( t ) 
(  , )
EM アルゴリズムが収束すれば
周辺尤度の極値条件の解になる．
15 May, 2007
 P g  ,  
  P g  ,  

0
,
0









   ˆ ,  ˆ

   ˆ ,  ˆ
物理フラクチュオマティクス論(東北大)
極値条件
17
1次元信号のモデル選択
EM Algorithm
Original Signal
200
fi
100
0.04
0
Degraded Signal
200
0
127
i
255
i
255
0.03
α(t)
0.02
gi
  40
100
0
0
Estimated Signal
127
0.01
200
fˆi
0
100
0
15 May, 2007
0
127
i
255
α(0)=0.0001, σ(0)=100
物理フラクチュオマティクス論(東北大)
18
ノイズ除去のモデル選択
MSE
  40
原画像
327
劣化画像
推定画像
ˆ
0.000611
ˆ
36.30
EMアルゴリズムと
確率伝搬法
α(0)=0.0001
σ(0)=100
MSE 
15 May, 2007
1
 f
|  | i 
i
 fˆi

2
MSE
ˆ
260
0.000574
物理フラクチュオマティクス論(東北大)
ˆ
34.00
19
ガウス混合モデル
  (0) 


   (1) 
 




  ( K  1) 


 a0 


  a1 
a 
 


a

 N 1 
 a0 


  a1 
a 
 


a

N
1




P a

 
N
i 1
15 May, 2007
  a 
i
i 1
  (1) 
  (1) 




   (2)     (2) 
 
,  
 
 




  (K )
 (K ) 




   
P f a ,  , 
N
K
  k   1
k 1
 f0 


  f1 
f 
 


 f

 N 1 

1
exp  
 2  a  2
2  a i 
i

1
物理フラクチュオマティクス論(東北大)
 f i    a i 
2




20
ガウス混合モデルのベイズ推定
事後確率
パラメータ


不完全
データ
 a0 


  a1 
a 
 


a

 N 1 

    
P a f ,  ,  ,
   
 
P f a ,  ,  P a  
   

 
 P f a ,  ,  P a  
データ


 f0 


  f1 
f 
 


 f

 N 1 




ベイズの公式

a



P a  

N
  a 
i
i 1
ハイパパラメータ
   
P f a ,  , 

 
N
i 1
15 May, 2007

1
exp  
 2  a  2
2  a i 
i

1
物理フラクチュオマティクス論(東北大)
 f i    a i 
21
2




ガウス混合モデルのEMアルゴリズム
パラメータ


不完全
データ
 a0 


  a1 
a 
 


a

 N 1 




 1   64 ,   2   127 ,
周辺尤度
   
P f μ , σ ,
   

  P f a , μ , σ P a γ 

データ
 f0 


  f1 
f 
 


 f

 N 1 

a
N



K

i 1 k 1

 3   192 ,   4   192 ,
 1     2 
  3     4   10
  f i    k  2
exp  
2



2

k
2  k 

 k 




ˆ , ˆ , ˆ   arg max  P  f  ,  ,  
  
ハイパパラメータ
 ,  ,
     
Q  ,  ,   ,  ,    


a


    
    
P a f ,  ,  ,   ln P a , f  ,  , 


EM アルゴリズム



 ( t  1),  ( t  1) ,σ ( t  1)   arg max
   Q  ,  ,   ( t ),  ( t ),  ( t ) 
(  ,  , )
15 May, 2007
物理フラクチュオマティクス論(東北大)
22
ガウス混合モデルの数値実験
   
P f a ,  ,


観測データ
観測データの
ヒストグラム
 1   64 ,   2   127 ,
 3   192 ,   4   192 ,

P a γ 
 1     2    3     4   10
   
周辺確率
P f μ , σ ,
   

  P f a , μ , σ P a γ 

推定結果
ˆ 1   63 . 4 , ˆ  2   91 . 6 ,
N

ˆ 1   7 . 5 , ˆ  2   7 . 5
ˆ 3   7 . 5 , ˆ  4   7 . 6
ˆ 3   0 . 53 , ˆ  4   0 . 11


a
ˆ 3   127 . 5 , ˆ  4   191 . 5 ,
ˆ 1   0 . 20 , ˆ  2   0 . 16

K

i 1 k 1


    
P a f ,  ,  , 
  f i    k  2
exp  
2



2

k
2  k 

 k 
   
 
P f a ,  ,  P a  
   
 

P
f
a
,

,

P
a




a
15 May, 2007

物理フラクチュオマティクス論(東北大)



事後確率
23




ガウス混合モデルの数値実験

a
   
P f a ,  ,



f
 1   64 ,   2   127 ,
 3   192 ,   4   192 ,
 1     2    3     4   20
Gauss Mixture Model

P a γ  





a
exp  a i , a j


 
i  
Z PR  γ   i 
  ij B

1
ポッツモデル
15 May, 2007
＋Potts Model

＋EM Algorithm

＋Belief Propagation

aˆ
物理フラクチュオマティクス論(東北大)
24
ガウス混合モデルによる
領域分割の数値実験
観測画像
ヒストグラム
 1   12 . 7 ,  1   2 . 7 ,  1   0 . 1831
Gauss Mixture
Gauss Mixture
Model
Model and
Potts Model
  2   42 . 2 ,   2   18 . 0 ,   2   0 . 0711
 3   130 . 6 ,  3   23 . 6 ,  3   0 . 3375
Belief
  4   168 . 4 ,   4   11 . 7 ,   4   0 . 3982
Propagation
 5   224 . 8 ,  5   14 . 4 ,  5   0 . 0101
15 May, 2007
物理フラクチュオマティクス論(東北大)
25
統計的学習理論による移動体検出
a
Segmentation
ab
b
bc
Detection
AND
Segmentation
c
Gauss Mixture Model and Potts Model with Belief Propagation
15 May, 2007
物理フラクチュオマティクス論(東北大)
26
ベイジアンネットとインターネット
観察により得られたデータから確率を求めた例
教授の機嫌のよいときは，8 回のうち 7 回までは秘書も機嫌がよく，
悪いのは 8 回中 1 回にすぎない．

Pr 秘書機嫌良い
教授機嫌良い
 7
8
アンケート調査等によるデータの収集
従来はデータ収集自体が大変な作業であった
インターネットの登場により，アンケートを通して膨大な
データを一度に回収することが可能
膨大なデータから如何に効率よく本質を抽出したベ
イジアンネットを構成し，計算にのせるか？
15 May, 2007
物理フラクチュオマティクス論(東北大)
27
項目応答理論 (Item Response Theory)
問題設定：
M人の受験者に N 問の問題を出題し，採点によ
り得られたデータから各受験者の能力と各問題
の難易度を同時に推定したい．
インターネット上で選択形式の試験を実施することに
より，場所と採点要員の確保の手間を解消し，膨大
な受験者のデータを収集することが可能．
15 May, 2007
物理フラクチュオマティクス論(東北大)
28
項目応答理論 (Item Response Theory)
簡単な問題設定：
M 人の受験者に 1 問の問題を出題し，
採点により得られたデータからその問
題の難易度を同時に推定したい．
qˆ  1 
1
M
q
1
2
3
M
X
i
i 1
i 番目の受験者が正答 Xi=1
i 番目の受験者が不正答 Xi=0
いったい何人間違えたかを数えればよい．
M
最尤法
qˆ  arg max
q
 Pr X q 
i
i 1
M個のデータ
15 May, 2007
Pr X i  0 q   q
1 個のパラメータ
物理フラクチュオマティクス論(東北大)
29
項目応答理論 (Item Response Theory)
基本的な問題設定：
M 人の受験者に N 問の問題を出題し，採点により得られ
たデータからその問題の難易度を同時に推定したい．
最尤法
 pˆ 1 ,  , pˆ M , qˆ1 ,  , qˆ N   arg
  Pr X
M
max
p1 , , p M , q1 , , q N
パラメータの推定値
i 1
N

pi , q j

j 1
MN個のデータ
i 番目の受験者が j 番
目の問題を正答 Xij=1
ij
M+N個の
パラメータ
i 番目の受験者が j 番目
の問題を不正答 Xij=0

Pr X ij  1 p i , q j  p i 1  q j 
15 May, 2007
物理フラクチュオマティクス論(東北大)
30
項目応答理論のグラフ表現
q1
q2
X 11
たくさんのデータがパラメータを介し
て関連しながらランダムに生成
q3
p1
X
21
X 31
X 12
p2
X
 X 11

 X 21
X 


X
 M1
22
X 32
物理的計算技法が使える
15 May, 2007
物理フラクチュオマティクス論(東北大)


 
p



X 12

X 22



XM2

X 1n 

X 2N 
 

X MN 
p1 
 q1 



p2    q2 
q 

 




q 
p M 
 N
31
「項目応答理論＋ベイジアンネット」の広い守備範囲
試験の実施によるデータの統計解析
問題の難易度
商品の人気度
受験者の能力
顧客の購買力
インターネット上の商取引におけるデータの統計解析への転用
ベイジアンネットと組み合わせることで顧客の年齢，性別，
職種などの属性を考慮したWebデータマイニングシステム
への進化が期待される
Web上で得られるデータの統計解析に対する
強固な理論的基盤の形成
15 May, 2007
物理フラクチュオマティクス論(東北大)
32
まとめ
最尤推定とEMアルゴリズム
ガウス混合モデル
項目応答理論
15 May, 2007
物理フラクチュオマティクス論(東北大)
33