Transcript PPT

物理フラクチュオマティクス論
Physical Fluctuomatics
応用確率過程論
Applied Stochastic Process
第9回 確率伝搬法
9th Belief propagation
東北大学 大学院情報科学研究科 応用情報科学専攻
田中 和之(Kazuyuki Tanaka)
[email protected]
http://www.smapip.is.tohoku.ac.jp/~kazu/
物理フラクチュオマティクス論(東北大)
1
今回の講義の講義ノート
参考文献
田中和之著：確率モデルによる画像処理技術入門，
第8章，森北出版，2006．
田中和之著: ベイジアンネットワークの統計的推論の
数理, コロナ社, 2009.
物理フラクチュオマティクス論(東北大)
2
計算困難のポイントは何か
2L 通りの和が計算できるか？


x1  T, F x 2  T, F

 f x1 , x2 ,, x L 
a  0;
for(x1  T or F){
for(x2  T or F){

for(x L  T or F){
x L  T, F
a  a  f x1 , x2 ,, x L ;
このプログラムでは
L=10個のノードで1秒かかるとしたら
L=20個で約17分，
L=30個で約12日，
L=40個で約34年かかる．
厳密に計算するのは一部の特殊な例を
除いて難しい．
マルコフ連鎖モンテカルロ法
確率伝搬法
}

}
}
L 重ループ
前回
今回
物理フラクチュオマティクス論(東北大)
3
確率モデルと確率伝搬法
ベイジアンネットワーク
ベイズの公式
確率モデル
確率的情報処理
確率伝搬法
（Belief Propagation）
J. Pearl: Probabilistic Reasoning in Intelligent Systems:
Networks of Plausible Inference (Morgan Kaufmann, 1988).
C. Berrou and A. Glavieux: Near optimum error correcting
coding and decoding: Turbo-codes, IEEE Trans. Comm., 44
(1996).
物理フラクチュオマティクス論(東北大)
4
確率伝搬法の定式化
確率伝搬法と平均場理論の類似性の指摘
Y. Kabashima and D. Saad, Belief propagation vs. TAP for decoding
corrupted messages, Europhys. Lett. 44 (1998).
M. Opper and D. Saad (eds), Advanced Mean Field Methods
---Theory and Practice (MIT Press, 2001).
一般化された確率伝搬法の提案
S. Yedidia, W. T. Freeman and Y. Weiss: Constructing free-energy
approximations and generalized belief propagation algorithms,
IEEE Transactions on Information Theory, 51 (2005).

確率伝搬法の情報幾何的解釈
S. Ikeda, T. Tanaka and S. Amari: Stochastic reasoning, free energy,
and information geometry, Neural Computation, 16 (2004).
物理フラクチュオマティクス論(東北大)
5
統計物理学による確率伝搬法の一般化
一般化された確率伝搬法
J. S. Yedidia, W. T. Freeman and Y. Weiss: Constructing freeenergy approximations and generalized belief propagation
algorithms, IEEE Transactions on Information Theory, 51 (2005).
クラスター変分法という統計物理学の手法
がその一般化の鍵
R. Kikuchi: A theory of cooperative phenomena, Phys. Rev., 81
(1951).
T. Morita: Cluster variation method of cooperative phenomena and
its generalization I, J. Phys. Soc. Jpn, 12 (1957).
物理フラクチュオマティクス論(東北大)
6
確率伝搬法の統計物理学的位置付け
木構造を持つグラフィカルモデルではベーテ近似
は転送行列法と等価である．
閉路を持つグラフィカルモデル上のベイジアンネットでの確率伝
搬法はベーテ近似またはその拡張版であるクラスター変分法に
等価である（Yedidia, Weiss and Freeman, NIPS2000）．
転送行列法
||（木構造）
もともとの確率伝搬法
ベーテ近似
クラスター変分法
（菊池近似）
一般化された確率伝搬法
物理フラクチュオマティクス論(東北大)
7
一般化された確率伝搬法の応用範囲
Image Processing
K. Tanaka: Statistical-mechanical approach to image processing (Topical Review), J.
Phys. A, 35 (2002).
A. S. Willsky: Multiresolution Markov Models for Signal and Image Processing,
Proceedings of IEEE, 90 (2002).
Low Density Parity Check Codes
Y. Kabashima and D. Saad: Statistical mechanics of low-density parity-check codes
(Topical Review), J. Phys. A, 37 (2004).
S. Ikeda, T. Tanaka and S. Amari: Information geometry of turbo and low-density
parity-check codes, IEEE Transactions on Information Theory, 50 (2004).
CDMA Multiuser Detection Algorithm
Y. Kabashima: A CDMA multiuser detection algorithm on the basis of belief
propagation, J. Phys. A, 36 (2003).
T. Tanaka and M. Okada: Approximate Belief propagation, density evolution, and
statistical neurodynamics for CDMA multiuser detection, IEEE Transactions on
Information Theory, 51 (2005).
Satisfability Problem
O. C. Martin, R. Monasson, R. Zecchina: Statistical mechanics methods and phase
transitions in optimization problems, Theoretical Computer Science, 265 (2001).
M. Mezard, G. Parisi, R. Zecchina: Analytic and algorithmic solution of random
satisfability problems, Science, 297 (2002).
物理フラクチュオマティクス論(東北大)
8
確率的情報処理における計算困難の打破の戦略
P1 x1  
    Px , x ,, x 
x2 T,F x3 T,F
xL T,F
1
2
L
を厳密に計算するのは一部の特殊な例を除いて難しい．
一部の特殊な例とは何か？
一部の特殊な例に適用できるアルゴリズムを一般
の場合に近似アルゴリズムとして適用できるか．
→ アルゴリズム化できるか？動くか？
精度はどの程度か？
物理フラクチュオマティクス論(東北大)
9
扱いやすい確率モデルのグラフ表現
物理フラクチュオマティクス論(東北大)
10
扱いやすい確率モデルのグラフ表現

A
B
C
D
E
A B C D E
物理フラクチュオマティクス論(東北大)
11
扱いやすい確率モデルのグラフ表現

A
B
C
D
E
A B C D E
 
A
B X B
C
D
E
A B C D E
物理フラクチュオマティクス論(東北大)
12
扱いやすい確率モデルのグラフ表現

A
B
C
D
E
A B C D E
 
B X B
A
C
D
E
A B C D E

   

B C D E  A
A

B 

B
物理フラクチュオマティクス論(東北大)
C
D
E
13
扱いやすい確率モデルのグラフ表現

A
B
C
D
E
A B C D E
 
B X B
A
C
D
E
A B C D E

   

B C D E  A
A

B 

A
B
B
物理フラクチュオマティクス論(東北大)
C
D
E
14
扱いやすい確率モデルのグラフ表現

A
B
C
D
E
A B C D E
 
B X B
A
C
D
E
A B C D E

   

B C D E  A
 
A
A

B 

A
B
B
C
B
C
D
D
E
E
B C D E
物理フラクチュオマティクス論(東北大)
15
扱いやすい確率モデルのグラフ表現

A
B
C
D
E
B C D E
物理フラクチュオマティクス論(東北大)
16
扱いやすい確率モデルのグラフ表現

A
B
C
D
E
B C D E
 
A
B
C X C
D
E
B C D E
物理フラクチュオマティクス論(東北大)
17
扱いやすい確率モデルのグラフ表現

A
B
C
D
E
B C D E
 
A
B
C X C
B

C  X

D
E
B C D E

    A

C D E  B
物理フラクチュオマティクス論(東北大)
C
D
E
18
扱いやすい確率モデルのグラフ表現

A
B
C
D
E
B C D E
 
A
B
C X C
B

C  X

D
E
B C D E

    A

C D E  B
B
C
D
E
C
物理フラクチュオマティクス論(東北大)
19
扱いやすい確率モデルのグラフ表現

A
B
C
D
E
B C D E
 
A
B
C X C
B

C  X

D
E
B C D E

    A

C D E  B
B
 
B
C
D
E
C
C
D
E
C D E
物理フラクチュオマティクス論(東北大)
20
扱いやすい確率モデルのグラフ表現

A
B
C
D
E
A B C D E
物理フラクチュオマティクス論(東北大)
21
扱いやすい確率モデルのグラフ表現

A
B
C
D
E
A
B
C
D
E
A B C D E
 
B C D E
物理フラクチュオマティクス論(東北大)
22
扱いやすい確率モデルのグラフ表現

A
B
C
D
E
A
B
C
D
E
  B
C
D
E
A B C D E
 
B C D E
C D E
物理フラクチュオマティクス論(東北大)
23
扱いやすい確率モデルのグラフ表現

A
B
C
D
E
A
B
C
D
E
  B
C
D
E
C
D
E
A B C D E
 
B C D E
C D E
 
D E
物理フラクチュオマティクス論(東北大)
24
扱いやすい確率モデルのグラフ表現

A
B
C
D
E
A
B
C
D
E
  B
C
D
E
C
D
E

D
E
A B C D E
 
B C D E
C D E
 
D E
E
物理フラクチュオマティクス論(東北大)
25
扱いやすい確率モデルのグラフ表現
A

D
C
E
A B C D E F
B
F
物理フラクチュオマティクス論(東北大)
26
扱いやすい確率モデルのグラフ表現
A

D
C
A
 
E
A B C D E F
D
C
E
B C D E F
B
F
物理フラクチュオマティクス論(東北大)
B
F
27
扱いやすい確率モデルのグラフ表現
A

D
C
 
E
A B C D E F
D
C
E
B C D E F
B
F
A
 
A
B
F
D
C
E
C D E F
B
F
物理フラクチュオマティクス論(東北大)
28
扱いやすい確率モデルのグラフ表現
A

D
C
A
 
E
A B C D E F
C
E
B C D E F
B
F
A
 
D
B
D
C
D
  C
E
C D E F
F
E
D E F
B
F
物理フラクチュオマティクス論(東北大)
F
29
扱いやすい確率モデルのグラフ表現
A

D
C
A
 
E
A B C D E F
C
E
B C D E F
B
F
A
 
D
B
D
C
D
  C
E
C D E F
F
E
D E F
B
F
F
D
 
C
E
E F
F
物理フラクチュオマティクス論(東北大)
30
扱いやすい確率モデルのグラフ表現
A

D
C
A
 
E
A B C D E F
C
E
B C D E F
B
F
A
 
D
B
D
C
D
  C
E
C D E F
F
E
D E F
B
F
F
D
 
C

E
E F
F
F
E
F
物理フラクチュオマティクス論(東北大)
31
扱いやすい確率モデルのグラフ表現
周辺確率のメッセージを用いた表現
A
Pr{E}  
A
B
C
D
D
C
E
F
B
F
物理フラクチュオマティクス論(東北大)
32
扱いやすい確率モデルのグラフ表現
周辺確率のメッセージを用いた表現
A
Pr{E}  
A
B
C
D
D
C
E
F
B
F
A
＝ 
A
B
C
C
E

D
B
D
E

F
E
F
物理フラクチュオマティクス論(東北大)
33
扱いやすい確率モデルのグラフ表現
周辺確率のメッセージを用いた表現
A
D
Pr{E}  
A
B
C
D
C
E
F
B
F
A
＝ 
A
B
C
E
C

D
B
＝
C
D
E
E
D
E

F
E
F
E
F
物理フラクチュオマティクス論(東北大)
34
扱いやすい確率モデルのグラフ表現
周辺確率のメッセージを用いた表現
A
D
Pr{E}  
A
B
C
D
C
E
F
B
F
A
＝ 
A
B
C
E
C
D

D
B

E
F
E
F
D
＝
C
D
E
E
E
＝
C
E
F
物理フラクチュオマティクス論(東北大)
F
35
扱いやすい確率モデルのグラフ表現
周辺確率のメッセージを用いた表現
A
D
Pr{C, E}  
A
B
D
C
E
F
B
＝ 
A

B
C
A
F
C
C
E

D
B
D

E
F
E
F
A
＝
C
A
C
C
B
D
E
E
物理フラクチュオマティクス論(東北大)
E
＝
F
D
C
E
B
F
36
扱いやすい確率モデルのグラフ表現
周辺確率のメッセージを用いた表現
A
D
Pr{E}
＝
C
Pr{C , E} ＝
E
C
B
F
Pr{E}   Pr{C, E}
D
C
C
E
F
C
E

C

C
D
A
E
F
D
C
E
B
F
A
C
E
メッセージに
対する漸化式
B
物理フラクチュオマティクス論(東北大)
37
扱いやすい確率モデルのグラフ表現
A
周辺確率のメッセージを用いた表現
C

C
A
C
C
A
E
B
Step 1
A
D
B

B
D
C
E
B

D
F
D
E
E
F
Step 2
C
E

C
A
C
C
E
E
A
C

C
C
A
C
B
E
B

C
A
D
C
B
E
E
C
E
物理フラクチュオマティクス論(東北大)
F
E
E
Step 3
F
D
 C
B

E
F
D
E
E
F
F
C
D
E
F
E
38
扱いやすい確率モデルのグラフ表現
周辺確率のメッセージを用いた表現
Step 1
A
D
C
Step 2
B
F
A
D
C
Step 3
E
E
B
F
A
D
C
B
E
F
物理フラクチュオマティクス論(東北大)
39
確率伝搬法 (Belief Propagation)
閉路のないグラフ上の確率モデル
Pa, b, c, d , x1 , x2 
 WA a, x1 WB b, x1 W{1, 2} x1 , x2 WC c, x2 W d , x2 
a
4b
3
2
1
6
d
5
x3  a
x5  c
x4  b
x6  d
c
物理フラクチュオマティクス論(東北大)
40
確率伝搬法 (Belief Propagation)
閉路のないグラフ上の確率モデル
WA a, x1 
a
WB b, x1 
a
3
1
6
d
WC c, x2 
4b
1 1
W{1, 2} x1 , x2 
2
2
4b
3
2
5
c
WD d , x2 
2
1
6
d
5
c
Pa, b, c, d , x1 , x2 
 WA a, x1 WB b, x1 
 W{1, 2} x1 , x2 WC c, x2 W d , x2 
物理フラクチュオマティクス論(東北大)
41
閉路のないグラフ上の確率モデル
P{1, 2} x1 , x2  
 Pa, b, c, d , x , x 
1
2
a,b,c,d
 M 31 x1 M 41 x1 W{1, 2} x1 , x2 M 62 x2 M 52 x2 
M 31 x1   WA a, x1  M 41 x1   WB b, x1 
a
a
4 b M 52 x2   WC c, x2  M 62 x2   WD d , x2 
3
2
6
d
b
c
1
5
c
d
ノード１と２の周辺確率分布は
それぞれ隣接するノードから伝搬され
るメッセージの積により表される．
物理フラクチュオマティクス論(東北大)
42
確率伝搬法 (Belief Propagation)
閉路のないグラフ上の確率モデル
M 12 x2   W{1, 2} x1 , x2 WA a, x1 WB b, x1 
x1
a
b
 W{1, 2} x1 , x2 M 31 x1 M 41 x1 
x1
a
4b
3
2
1
6
d
5
c
ノード１から隣接ノード２に伝搬するメッセージは（ノー
ド２を除く）ノード１の隣接ノードからノード１に伝搬され
るメッセージの積により表される．
 
  
M  M
メッセージに対する固定点方程式
(Message Passing Rule)
物理フラクチュオマティクス論(東北大)
43
閉路のないグラフ上の確率伝搬法


  1
Pr X  x  W{i , j} xi , x j 
Z {i , j}
X1
X2
X3
X k 1
X k 3
閉路が無い
ことが重要!!
Xk
X k 1
X k 2
同じノードは２度通らない
物理フラクチュオマティクス論(東北大)
44
確率的画像処理における
確率伝搬法(Belief Propagation)

Px   Px1 , x2 ,, xL  
 x , x 
{i , j}
i
j
{i , j}E
E：すべてのリンクの集合
物理フラクチュオマティクス論(東北大)
45
正方格子によるグラフ表現をもつ
確率モデルの確率伝搬法(Belief Propagation)
着目画素とその近傍画素だけを残すと木構造になる．
物理フラクチュオマティクス論(東北大)
46
正方格子によるグラフ表現をもつ
確率モデルの確率伝搬法(Belief Propagation)
着目画素とその近傍画素だけを残すと木構造になる．
確率伝搬法(Belief Propagation)の統計的近似アルゴ
リズムとしての転用
物理フラクチュオマティクス論(東北大)
47
周辺確率(Marginal Probability)
P2 x2     Px1 , x2 , x3 , x4 ,, x N 
x1 x3 x 4
xN
物理フラクチュオマティクス論(東北大)
48
周辺確率(Marginal Probability)
P2 x2     Px1 , x2 , x3 , x4 ,, x N 
x1 x3 x 4
   
x1 x 3 x 4
xN
2
xN
物理フラクチュオマティクス論(東北大)
49
周辺確率(Marginal Probability)
P2 x2     Px1 , x2 , x3 , x4 ,, x N 
x1 x3 x 4
   
x1 x 3 x 4
xN
xN
2

物理フラクチュオマティクス論(東北大)
2
50
周辺確率(Marginal Probability)
P{1,2} x1, x2    Px1 , x2 , x3 , x4 ,, xN 
x3
x4
xN
物理フラクチュオマティクス論(東北大)
51
周辺確率(Marginal Probability)
P{1,2} x1, x2    Px1 , x2 , x3 , x4 ,, xN 
x3
  
x3 x 4
x4
1
xN
2
xN
物理フラクチュオマティクス論(東北大)
52
周辺確率(Marginal Probability)
P{1,2} x1, x2    Px1 , x2 , x3 , x4 ,, xN 
x3
  
x3 x 4
xN
x4
1
xN
2

物理フラクチュオマティクス論(東北大)
1
2
53
正方格子によるグラフ表現をもつ
確率モデルの確率伝搬法(Belief Propagation)
P2 x2    P{1, 2} x1 , x2 
x1
物理フラクチュオマティクス論(東北大)
54
正方格子によるグラフ表現をもつ
確率モデルの確率伝搬法(Belief Propagation)
P2 x2    P{1, 2} x1 , x2 
x1
4
3
8
1
2
5
6
物理フラクチュオマティクス論(東北大)
7
55
正方格子によるグラフ表現をもつ
確率モデルの確率伝搬法(Belief Propagation)
P2 x2    P{1, 2} x1 , x2 
x1
8
1
2
6
7
4
3
8
1
2
5
6
物理フラクチュオマティクス論(東北大)
7
56
正方格子によるグラフ表現をもつ
確率モデルの確率伝搬法(Belief Propagation)
3
P2 x2    P{1, 2} x1 , x2 
1  2
2
1
4
x1
5
x1
Message Update Rule
8
1
2
6
7
4
3
8
1
2
5
6
物理フラクチュオマティクス論(東北大)
7
57
閉路のあるグラフ上の確率モデル
の確率伝搬法(Belief Propagation)
3
2
M 31
M 12
1  2
1
M 41
4
M 51
x1
5
3
4
1
5
2
閉路のあるグラフ上でも局所的な
構造だけに着目してアルゴリムを
構成することは可能．
ただし，得られる結果は厳密では
なく近似アルゴリズム
物理フラクチュオマティクス論(東北大)
58
閉路のあるグラフ上の確率モデル
の確率伝搬法(Belief Propagation)
3
2
M 31
M 12
1  2
1
M 41
4
M 51
x1
5
3
4
1
5
2
閉路のあるグラフ上でも局所的な
構造だけに着目してアルゴリムを
構成することは可能．
ただし，得られる結果は厳密では
なく近似アルゴリズム
 
  
M  M
メッセージに対する固
定点方程式
物理フラクチュオマティクス論(東北大)
59
閉路のあるグラフ上の確率モデル
の確率伝搬法(Belief Propagation)
3
2
M 31
M 12
1  2
1
M 41
4
M 51
x1
5
3
4
1
5
2
閉路のあるグラフ上でも局所的な
構造だけに着目してアルゴリムを
構成することは可能．
ただし，得られる結果は厳密では
なく近似アルゴリズム
 
  
M  M
メッセージに対する固
定点方程式
平均，分散,共分散はこのメッセージを使ってあらわされる
物理フラクチュオマティクス論(東北大)
60
Fixed Point Equation and
Iterative Method
Fixed Point Equation
 
*  *
M  M
物理フラクチュオマティクス論(東北大)
61
Fixed Point Equation and
Iterative Method
Fixed Point Equation
 
*  *
M  M
Iterative Method
yx
y
y  (x)
0
M*
物理フラクチュオマティクス論(東北大)
x
62
Fixed Point Equation and
Iterative Method
Fixed Point Equation
 
*  *
M  M
Iterative Method
yx
y
y  (x)
0
M*
物理フラクチュオマティクス論(東北大)
M0
x
63
Fixed Point Equation and
Iterative Method
 
*  *
M  M
Fixed Point Equation
Iterative Method
 


M1   M 0
yx
y
M1
0
y  (x)
M*
物理フラクチュオマティクス論(東北大)
M0
x
64
Fixed Point Equation and
Iterative Method
 
*  *
M  M
Fixed Point Equation
Iterative Method
 
 


M1   M 0


M 2   M1
yx
y
M1
0
y  (x)
M * M1
物理フラクチュオマティクス論(東北大)
M0
x
65
Fixed Point Equation and
Iterative Method
 
*  *
M  M
Fixed Point Equation
Iterative Method
 
 


M1   M 0


M 2   M1
yx
y
M1
M2
0
y  (x)
M * M1
物理フラクチュオマティクス論(東北大)
M0
x
66
Fixed Point Equation and
Iterative Method
Fixed Point Equation
 
*  *
M  M
Iterative Method
 
 
 


M1   M 0


M 2   M1


M3   M2
yx
y
M1
M2
0
y  (x)
M * M1
M0
x

物理フラクチュオマティクス論(東北大)
67
確率的画像処理における
確率伝搬アルゴリズムの基本構造
４近傍の場合は3入力1出力の更新式
ひとつの画素ごとに４種類の更新パターン
画素上での
動作の様子
の一例
物理フラクチュオマティクス論(東北大)
68
閉路のあるグラフ上の確率モデル
M 1 2  x 2  
W12 z1 , x2 M 31 z1 M 4 1 z1 M 5 1 z1 
z1
W12 z1 , z 2 M 31 z1 M 4 1 z1 M 5 1 z1 
z1 z 2
3
4
1
5
2
閉路のあるグラフ上でも局所的な
構造だけに着目してアルゴリムを
構成することは可能．
ただし，得られる結果は厳密では
なく近似アルゴリズム
 
  
M  M
メッセージに対する固
定点方程式
物理フラクチュオマティクス論(東北大)
69
確率伝搬法の情報論的解釈(1)
Kullback-Leibler Divergence
 Q x  
  0
DQ P   Q( x) ln
x
 P x  

 Q x   0,


x Q( x)  1
1
Q x   P x   D Q P  0 Px1 , x2 ,, xL   Z Wij xi , x j 
ijN
 
D[Q | P]   Q( x )  ln Wij xi , x j    Q( x ) ln Q x   ln Z
x
ijN


x
F [Q ]
 F [Q]  ln Z
Free Energy
Z  Wij xi , x j 
x ijN


minF[Q]  Q x   1  F[ P]   ln Z
Q
x


物理フラクチュオマティクス論(東北大)
70
確率伝搬法の情報論的解釈（２）

 Q x  
  0
DQ P   Q( x) ln
x
 P x  
1
P x   Wij xi , x j
Z ijB

Free Energy
KL Divergence
DQ P  FQ lnZ 
F Q   Q( x )
x
Qij ( xi , x j )

Q( x )

 
x \ xi , x j
 ln W x , x    Q( x) ln Q x 
{i , j }E
ij
i
j
x


     Q( x )  ln Wij xi , x j    Q( x ) ln Q x 


{i , j }E xi x j  x \ xi , x j 
x

   Qij xi , x j ln Wij xi , x j    Q( x ) ln Q x 
{i , j }E xi
xj
物理フラクチュオマティクス論(東北大)
x
71
確率伝搬法の情報論的解釈（３）
KL Divergence
F Q 
Free Energy
DQ P  FQ lnZ 
Q  ,  ln W  ,  
 
 
{i , j }E
ij
ij
  Q( x ) ln Q x 
Qi ( xi )   Q( x)
x\ xi
Qij ( xi , x j ) 
x

Q  ,  ln W  ,  
 
 
{i , j }E
1
P x  
Wij xi , x j 

Z {i , j}E
ij
Q( x )

 
x \ xi , x j
ij
  Qi  ln Qi  
Bethe Free
iV 
Energy


    Qij  ,  ln Qij  ,     Qi  ln Qi     Q j  ln Q j  
{i , j }E   



物理フラクチュオマティクス論(東北大)
72
確率伝搬法の情報論的解釈（４）


DQ P  FBethe Qi , Qij   ln Z

   Q  ,  ln W  ,     Q  ln Q  
FBethe Qi , Qij  
{i , j }E 
ij

ij
iV
i

i
arg min DQ P  arg min F


    Qij  ,   ln Qij  ,     Qi   ln Qi     Q j   ln Q j  
{i , j }E  




Q
Q


arg min DQ P  arg min FBethe Qi , Qij 
Qi ,Qij 
Q
Q     Q  ,    1


 
i
ij
Qi     Qij  ,  
物理フラクチュオマティクス論(東北大)

73
確率伝搬法の情報論的解釈（５）


arg min FBethe Qi , Qij  Qi     Qij  ,  ,  Qi     Qij  ,    1
Qi ,Qij  



 


Lagrange Multipliers to ensure the constraints




LBethe Qi , Qij   FBethe Qi , Qij 


   i , j   Qi     Qij  ,  
iV ji 










  i   Qi    1    ij   Qij  ,    1
iV
 
 {i , j}E   

物理フラクチュオマティクス論(東北大)
74
確率伝搬法の情報論的解釈（６）


LBethe Qi , Qij   FBethe Qi , Qij     i , j   Qi     Qij  ,  
iV ji 











  i   Qi    1    ij   Qij  ,    1
iV
 
 {i , j}E   

   Qij  ,   ln Wij  ,     Qi   ln Qi  
{i , j }E 

iV

















Q

,

ln
Q

,


Q

ln
Q


Q

ln
Q




ij
i
i
j
j
  ij

{i , j }E  










   i , j   Qi     Qij  ,     i   Qi    1   ij   Qij  ,    1
iV ji 


 iV  
 ijB   


Extremum Condition



LBethe Qi , Qij   0
Qi xi 



LBethe Qi , Qij   0
Qij xi , x j 
物理フラクチュオマティクス論(東北大)
75
確率伝搬法の情報論的解釈（７）



LBethe Qi , Qij   0
Qi xi 
M 31
4
M 41

3
1
M 31
M 21
2
4
M 41
3
1
8M
W12
M 51
M 51
5


LBethe Qi , Qij   0
Qij xi , x j 
2
Extremum
Condition
82
M 72
7
M 62
5
6
Q1 x1  
1
1
M 21 x1 M 31 x1  Q12 x1 , x2  
M 31 x1 M 41 x1 M 51 x1 
Z1
Z12
 M 41 x1 M 51 x1 
 W12 x1 , x2 M 62 x2 M 72 x2 M 82 x2 
物理フラクチュオマティクス論(東北大)
76
確率伝搬法の情報論的解釈（８）
Q1     Q12  ,  

M 12  
  W12  ,  M 31  

 M 41  M 51  
Message Update Rule
M 31
4
M 41
3
M 31
M 21
1
2
4
M 41
3
1
8M
W12
M 51
M 51
5
2
82
M 72
7
M 62
5
6
Q1 x1  
1
1
M 21 x1 M 31 x1  Q12 x1 , x2  
M 31 x1 M 41 x1 M 51 x1 
Z1
Z12
 M 41 x1 M 51 x1 
 W12 x1 , x2 M 62 x2 M 72 x2 M 82 x2 
物理フラクチュオマティクス論(東北大)
77
確率伝搬法の情報論的解釈（９）
M 12   
W12  ,  M 31  M 41  M 51  

W12  ,  M 31  M 41  M 51  


Message Passing Rule of
Belief Propagation
M 31
4
M 41
M12

8
a2
4
3
1
3
2
1
2
5
6
7
3
M 51
5
これはクラスター変分法のなかでも
ベーテ近似になる．
=
4
物理フラクチュオマティクス論(東北大)
1
2
5
78
イジング模型の確率変数の期待値
1 N N


exp
( a x, y a x 1, y  a x , y a x , y 1 ) 


T

x

1
y

1



P(a ) 
1 N N



exp
(
a
a

a
a
)

x , y x , y 1 
 T   x, y x 1, y

a
x 1 y 1


(a)
(b)
(c)
(d)

lim  a x, y P (a )
N   a
平均場近似（ワイス近似）
ベーテ近似
クラスター変分法（菊池近似）
厳密解（L. Onsager）
a x, y  1
T
物理フラクチュオマティクス論(東北大)
79
本日のまとめ
確率伝搬法
転送行列法
ベーテ近似・クラスター変分法
反復法
次回
第10回 確率的画像処理と確率伝搬法
第11回 確率推論におけるベイジアンネットと確率伝搬法
物理フラクチュオマティクス論(東北大)
80
演習問題9-1
確率変数 a, b, c, d, x, y の確率分布 P(a,b,c,d,x,y) を考える．
Pa,b,c,d,x, y   WA a, xWB b, xWXY x, y WC c, y WD d , y 
確率変数 x, y の周辺確率分布 PXY(x,y) が次のように与え
られることを示せ．
PXY x, y    Pa,b,c,d,x, y 
a b c d
 M A  X x M B  X x W XY x, y M C  2  y M D  2  y 
M A  X  x    W A a, x 
M B  X  x    W B b, x 
a
M C Y  y    WC c, y 
c
b
M D Y  y    W D d , y 
d
物理フラクチュオマティクス論(東北大)
81
演習問題9－2
以下の形に与えられる２つの周辺確率分布
Q1 x1  
1
M 21 x1 M 31 x1 M 41 x1 M 51 x1 
Z1
Q12 x1 , x2  
1
M 31 x1 M 41 x1 M 51 x1 W12 x1 , x2 M 62 x2 M 72 x2 M 82 x2 
Z12
を Q1 x1    Q12 x1 , x2  に代入することにより次の等式
x2
を導出せよ．
M 21 x1  
Z1
Z12
W x , x M x M x M x 
12
1
2
62
2
72
2
82
2
x2
物理フラクチュオマティクス論(東北大)
82
演習問題9－3
非線形方程式 x=tanh(Cx) を反復法を用いて数値的に解く
プログラムを作成し，C=0.5, 1.0, 2.0 に対する解を求めよ．ま
た C=0.5, 1.0, 2.0 のそれぞれに対して y=tanh(Cx) と y=x の
グラフを書き，C の値により非線形方程式 x=tanh(Cx) がど
のような解を持ち，初期値 x0 により反復法がどのような解に
収束するかについて議論せよ．
x1  tanhCx0 
x2  tanhCx1 
x3  tanhCx2 

物理フラクチュオマティクス論(東北大)
83