Transcript 確率伝搬法

確率的情報処理における
計算モデルの数理構造
東北大学 大学院情報科学研究科
田中 和之
http://www.smapip.is.tohoku.ac.jp/~kazu/
28 November,, 2011
室蘭工業大学
1
Contents
1.
2.
3.
4.
5.
6.
7.
8.
28 November,, 2011
序論
ベイズ統計の基礎
確率的画像処理
ガウシアングラフィカルモデル
確率伝搬法
統計的性能評価
さまざまのベイジアンモデリング
まとめと展開
室蘭工業大学
2
確率的情報処理
不確実性の数学的表現→確率・統計
モデル化
確率的画像処理
ネットワーク構造をもつ
数理モデル
ノードは事象，矢印は
条件付き確率に対応
不確実性を伴うデータに耐えうる推論システム
単純な機能を持つたくさんの要素が関連し合い，互
いに協力して複雑・高度な機能を生み出す．
28 November,, 2011
室蘭工業大学
重要な概念のひとつ
3
Contents
1.
2.
3.
4.
5.
6.
7.
28 November,, 2011
序論
ベイズ統計の基礎
確率的画像処理
確率伝搬法
統計的性能評価
さまざまのベイジアンモデリング
まとめ
室蘭工業大学
4
結合確率と条件付き確率
事象A=aの起こる確率
Pr{ A  a}
事象 A=a と事象 B=b の結合確率
PrA  a, B  b  Pr( A  a)  ( B  b)
条件付き確率と結合確率
PrA  a, B  b
PrB  b A  a 
PrA  a
 PrA  a, B  b  PrB  b A  aPrA  a
28 November,, 2011
室蘭工業大学
a
b
5
周辺確率
結合確率 Pr{A=a,B=b} における事象
B=b の周辺確率 (Marginal Probability)
PrB  b   PrA  a, B  b
a
室蘭工業大学
a
a
b
Message
=
事象 A の取り得るすべての互いに排反な状態についての和
28 November,, 2011

a
b
周辺化
6
ベイズの公式
PrA  a, B  b  PrA  a B  bPrB  b
ベイジアンネットワーク
PrA  a, B  b  PrB  b A  a
 PrA  a
a
b
PrA  a, B  b PrB  b A  aPrA  a
PrA  a B  b 

PrB  b
PrB  b
事後確率
(Posterior
Probability)
PrB  b   PrA  a, B  b
a
  PrB  b | A  aPrA  a
a
28 November,, 2011
事前確率
(Prior
Probability)
周辺尤度(Marginal Likelihood)
室蘭工業大学
7
Contents
1.
2.
3.
4.
5.
6.
7.
28 November,, 2011
序論
ベイズ統計の基礎
確率的画像処理
確率伝搬法
統計的性能評価
さまざまのベイジアンモデリング
まとめと展開
室蘭工業大学
8
画像修復の確率モデル
劣化画像  原画像 白色ガウス雑音
雑音
通信路
原画像
劣化画像
尤度
事前確率












事後確率

 Pr劣化画像 | 原画像Pr原画像
Pr原画像 | 劣化画像 
Pr劣化画像

周辺尤度
28 November,, 2011
室蘭工業大学
9
確率的情報処理における事前確率

 
 
Pr X  x 

 1
exp    xi  x j
 2
{i , j}E
x1
x2
x3
x4
x5
x6
x7
x8
x9
x10
x11
x12
xi
xi
2   

{i , j}E
xj
xi

 1
 exp    xi  x j
 2
xj
2 

原画像の i 番目の画素の階調値
に対する確率変数
V  {1,2,3,4,5,6,7,8,9,10,11,12}
{1,2},{2,3},{3,4},{5,6},{6,7},{7,8},{9,10},{10,11},{11,12}
E

{1,5},{2,6},{3,7},{4,8},{5,9},{6,10},{7,11},{8,12}

28 November,, 2011
室蘭工業大学
10
劣化過程
加法的白色ガウスノイズ(Additive White Gaussian Noise)


   
1

2


Pr Y  y X  x   exp  
x

y
i
i    xi
2
 2
 iV
iV
y1
X1
y2
X2
y5
X5
xi
X3
y6
X6
y9
X9
y3
y7
y10
X10
y8
X8
y11
X11
yi
y4
X4
X7
yi
y12
X12
原画像の i 番目の
画素の階調値に
xi 対する状態変数
劣化画像の i 番目の
画素の階調値に
yi 対する状態変数
1

2


 exp  
x

y

i
i
2
 2

28 November,, 2011
室蘭工業大学
11
ベイズ統計と画像処理
PrX  x

x
事前確率
原画像

   
Pr Y  y X  x
g

 y
加法的白色ガウス雑音 劣化画像
または２元対称通信路
事後確率


 
   
 
    Pr Y  y X  x Pr X  x
 
Pr X  x Y  y 
Pr Y  y






1
2 1
2

 x  y i     xi  x j 
 exp 
 2 2  i
2 {i, j}E
iV




画像処理は平均，分散，共分散の計算に帰着
28 November,, 2011
室蘭工業大学
12
Statistical Estimation of Hyperparameters
Hyperparameters ,  are determined so as to maximize the
marginal likelihood Pr{Y=y|,} with respect to , .
 
(ˆ , ˆ )  arg max Pr{Y  y |  ,  }
EM (Expectation
Maximization) Algorithm
 , 
 
   
Pr{Y  y |  ,  }   Pr{ X  z , Y  y |  ,  }

z
   
 
  Pr{Y  y | X  z ,  } Pr{ X  z |  }

z
V
Degraded Image
Original Image
 
Pr{ X  x |  }

x

y
   
Pr{Y  y | X  x ,  }
g
  Marginalized with respect to X
Pr{Y  y |  ,  } Marginal Likelihood
28 November,, 2011
室蘭工業大学
13
Contents
1.
2.
3.
4.
5.
6.
7.
28 November,, 2011
序論
ベイズ統計の基礎
確率的画像処理
確率伝搬法
統計的性能評価
さまざまのベイジアンモデリング
まとめ
室蘭工業大学
14
計算困難のポイントは何か
a  0;
for( x1  0,1){
2N 通りの和が計算できるか？
 

x1  0,1 x 2  0,1
 f x1 , x2 ,, x N 
for( x 2  0,1){

x N  0,1
for( x N  0,1){
a  a  f x1 , x 2 ,  , x N ;
このプログラムでは
L=10個のノードで1秒かかるとしたら
L=20個で約17分，
L=30個で約12日，
L=40個で約34年かかる．
厳密に計算するのは一部の特殊な例を
除いて難しい．
マルコフ連鎖モンテカルロ法
確率伝搬法
28 November,, 2011
室蘭工業大学
}

}
}
N 重ループ
今回
15
扱いやすい確率モデルのグラフ表現
 f12 ( x1 , x2 ) f13 ( x1 , x3 ) f14 ( x1 , x4 )
28 November,, 2011
室蘭工業大学
16
扱いやすい確率モデルのグラフ表現
 f
x2
x3
x4
x5
13
( x1 , x3 ) f14 ( x1 , x4 ) f12 ( x1 , x2 ) f 25 ( x2 , x5 ) f 26 ( x2 , x6 )
x6
6
 
x2
x3
x4
x5
4
1
 
2
x2
x6
5
6 Message
1
2
4
5 Message
4
6
3
 
x2
x3

3
x4
1
 
x2
x4
1
1
4
2
x5
5
6 Message 4
Message
1
2
5 Message
4
6

2
x3
x3
6 Message
3
3
2
x2
5
28 November,, 2011
3
5
室蘭工業大学
3
17
周辺確率(Marginal Probability)
P2 x2     Px1 , x2 , x3 , x4 ,, x N 
x1 x3 x 4
  
x1 x3 x 4
28 November,, 2011
xN
2

2
xN
室蘭工業大学
18
周辺確率(Marginal Probability)
P12 x1 , x2     Px1 , x2 , x3 , x4 ,, x N 
x3 x 4
   
x3 x 4
28 November,, 2011
xN
1

2
1
2
xN
室蘭工業大学
19
確率的画像処理における
確率伝搬法(Belief Propagation)
1
P2 x2    P12 x1 , x2 

2
3
4
1
x1
x1
5
8
1
2
3
7
4
6
28 November,, 2011
2
室蘭工業大学
Message Update Rule
8
1
2
5
6
7
20
閉路のあるグラフ上の確率モデル
の確率伝搬法(Belief Propagation)
1
M 12

x1
2
3
4
1
M 31
M 41
2
M 51
5
3
4
1
5
2
閉路のあるグラフ上でも局所的な構造だけに
着目してアルゴリムを構成することは可能．
ただし，得られる結果は厳密ではなく近似ア
ルゴリズム
メッセージに対する
固定点方程式
 
  
M M
平均，分散,共分散はこのメッセージを使ってあらわされる
28 November,, 2011
室蘭工業大学
21
Fixed Point Equation and
Iterative Method
Fixed Point Equation
 
*  *
M  M
Iterative Method
 
 
 


M1   M 0


M 2   M1


M3   M2
yx
y
M1
M2
0
y   (x)
M * M1
M0
x

28 November,, 2011
室蘭工業大学
22
確率的画像処理における
確率伝搬アルゴリズムの基本構造
４近傍の場合は3入力1出力の更新式
ひとつの画素ごとに４種類の更新パターン
画素上での
動作の様子
の一例
28 November,, 2011
室蘭工業大学
 
  
M M
23
確率伝搬法(Belief Propagation)
とEMアルゴリズム
Update Rule of BP
Input
３
BP
EM
４
１
２
５
Output
28 November,, 2011
室蘭工業大学
24
Maximization of Marginal
Likelihood by EM Algorithm

 t  1,  t  1  arg max Q ,   t , t , g .
 , 
Exact
ˆ Exact  37.624
ˆExact  0.000713

0.001
0.0008
0.0006
ˆ 

ˆ
ˆ
x  m ,  , y 
0.0004
0.0002

y
0
0
20
40
60
ˆ LBP  36.335
ˆLBP  0.000600
80
100

Loopy Belief Propagation
28 November,, 2011
室蘭工業大学
25
Image Restoration by
Gaussian Graphical Model
Original Image
Degraded Image
Belief Propagation
Exact
MSE:325
MSE:315
MSE: 1512
Lowpass Filter
MSE: 411
28 November,, 2011
Wiener Filter
Median Filter
MSE: 545
MSE: 447
室蘭工業大学
MSE 
1
xi  xˆi 2

| V | iV
26
Markov
Random
Field
Output
Input
Digital Images Inpainting
based on MRF
M. Yasuda, J. Ohkubo
and K. Tanaka:
Proceedings of
CIMCA&IAWTIC2005.
28 November,, 2011
室蘭工業大学
27
Contents
1.
2.
3.
4.
5.
6.
7.
28 November,, 2011
序論
ベイズ統計の基礎
確率的画像処理
確率伝搬法
統計的性能評価
さまざまのベイジアンモデリング
まとめ
室蘭工業大学
28
標本平均による統計的性能

x
脳の物理モデル
の記憶容量，
パーセプトロンの容量
の評価に類似の議論
Signal
5
 ˆ 2
1
[MSE ]   || x  x n ||
5 n 1
28 November,, 2011

y1

y2

y3

y4

y5
Observed
Data
室蘭工業大学
Posterior Probability
スピングラス理論
による解析的評価
が可能
Additive White
Gaussian Noise
Mean Square Error の標本平均

x̂1

x̂ 2

x̂3

x̂ 4

x̂5
Estimated Results
29
Statistical Performance Estimation in Image
Restoration for Bayesian Image Analysis
1
MSE( | Signal ) 
Estimate(D ata,  )  Signal

V Data
2
Pr{Data | Signal }
Mean Square Error
Spin Glass Theory in Statistical Mechanics
MSE ( | Signal )
MSE ( | Signal )
0.4
600
0.3
400
0.2
200
=1
0.1
0
0
0
0.2
28 November,, 2011
=40
0.4
0.6
0.8
1
室蘭工業大学
0
0.001
0.002

0.003
30
Contents
1.
2.
3.
4.
5.
6.
7.
28 November,, 2011
序論
ベイズ統計の基礎
確率的画像処理
確率伝搬法
統計的性能評価
さまざまのベイジアンモデリング
まとめ
室蘭工業大学
31
Belief Propagation for Bayesian Networks
28 November,, 2011
室蘭工業大学
32
Factor Graph Representations of
Bayesian Networks and Belief Propagations
28 November,, 2011
室蘭工業大学
33
Error Correcting Codes and
Belief Propagation
X 7  X 1  X 2  X 3 (mod 2)
X 8  X 2  X 3  X 5 (mod 2)
X 9  X 3  X 4  X 6 (mod 2)
Fundamental Concept for Turbo Codes and LDPC Codes
28 November,, 2011
室蘭工業大学
34
Satisfactory Problem (3-SAT)
 X 1  X 3   X 4    X 3  X 5   X 6    X 2  X 4  X 6 
  X 2  X 7  X 8   X 5   X 8  X 9 
1
Pr{ X 1  x1 ,, X 6  x6 }  f{1,3, 4} ( x1 , x3 , x4 ) f{3,5,6} ( x3 , x5 , x6 ) f{2, 4,6} ( x2 , x4 , x6 )
Z
 f{2,7,8} ( x2 , x7 , x8 ) f{5,8,9} ( x5 , x8 , x9 )
28 November,, 2011
室蘭工業大学
35
Contents
1.
2.
3.
4.
5.
6.
7.
28 November,, 2011
序論
ベイズ統計の基礎
確率的画像処理
確率伝搬法
統計的性能評価
さまざまのベイジアンモデリング
まとめ
室蘭工業大学
36
確率モデルによる確率的情報処理技術入門
ベイズ統計をつかった画像処理
確率伝搬法（Belief Propagation）
様々の応用
磁性体の統計理論による統計的性能評価
28 November,, 2011
室蘭工業大学
37
References
1.
2.
3.
4.
田中和之編著: 臨時別冊・数理科学SGCライブ
ラリ「確率的情報処理と統計力学 ---様々なア
プローチとそのチュートリアル」, サイエンス社,
2006年9月.
田中和之著: 確率モデルによる画像処理技術
入門, 森北出版, 2006年9月.
田中和之著: ベイジアンネットワークの統計的
推論の数理，コロナ社, 2009年10月．
安田宗樹, 片岡駿，田中和之共著 (分担執筆):
---CVIMチュートリアルシリーズ--- コンピュータ
ビジョン最先端ガイド3, 第6章．大規模確率場と
確率的画像処理の深化と展開，アドコム・メディ
ア株式会社, 2010年12月.
28 November,, 2011
室蘭工業大学
38