Transcript PPT

物理フラクチュオマティクス論
Physical Fluctuomatics
第10回 確率伝搬法
10th Belief propagation
東北大学 大学院情報科学研究科 応用情報科学専攻
田中 和之(Kazuyuki Tanaka)
[email protected]
http://www.smapip.is.tohoku.ac.jp/~kazu/
本講義のWebpage:
http://www.smapip.is.tohoku.ac.jp/~kazu/PhysicalFluctuomatics/2007/
12 June, 2007
物理フラクチュオマティクス論(東北大)
1
今回の講義の講義ノート
田中和之著：確率モデルによる画像処理技術入門，
第8章，森北出版，2006．
参考文献
J. Pearl: Probabilistic Reasoning in Intelligent Systems:
Networks of Plausible Inference, Morgan Kaufmann,
1988.
汪金芳, 田栗正章, 手塚集, 樺島祥介, 上田修功: 統計
科学のフロンティア/計算統計 I ---確率計算の新しい手
法, 岩波書店, 2003.
12 June, 2007
物理フラクチュオマティクス論(東北大)
2
計算困難のポイントは何か
2L 通りの和が計算できるか？


x 1  T, F x 2  T, F

 f  x1 , x 2 ,  , x L 
a  0;
for( x1  T or F){
for( x 2  T or F){

x L  T, F
for( x L  T or F){
a  a  f  x1 , x 2 ,  , x L ;
このプログラムでは
L=10個のノードで1秒かかるとしたら
L=20個で約17分，
L=30個で約12日，
L=40個で約34年かかる．
厳密に計算するのは一部の特殊な例を
除いて難しい．
マルコフ連鎖モンテカルロ法
確率伝搬法
12 June, 2007
}

}
}
L 重ループ
今回
次回
物理フラクチュオマティクス論(東北大)
3
確率モデルと確率伝搬法
ベイジアンネットワーク
ベイズの公式
確率モデル
確率的情報処理
確率伝搬法
（Belief Propagation）
J. Pearl: Probabilistic Reasoning in Intelligent Systems:
Networks of Plausible Inference (Morgan Kaufmann, 1988).
C. Berrou and A. Glavieux: Near optimum error correcting
coding and decoding: Turbo-codes, IEEE Trans. Comm., 44
(1996).
12 June, 2007
物理フラクチュオマティクス論(東北大)
4
確率伝搬法の定式化
確率伝搬法と平均場理論の類似性の指摘
Y. Kabashima and D. Saad, Belief propagation vs. TAP for decoding
corrupted messages, Europhys. Lett. 44 (1998).
M. Opper and D. Saad (eds), Advanced Mean Field Methods
---Theory and Practice (MIT Press, 2001).
一般化された確率伝搬法の提案
S. Yedidia, W. T. Freeman and Y. Weiss: Constructing free-energy
approximations and generalized belief propagation algorithms,
IEEE Transactions on Information Theory, 51 (2005).

確率伝搬法の情報幾何的解釈
S. Ikeda, T. Tanaka and S. Amari: Stochastic reasoning, free energy,
and information geometry, Neural Computation, 16 (2004).
12 June, 2007
物理フラクチュオマティクス論(東北大)
5
統計物理学による確率伝搬法の一般化
一般化された確率伝搬法
J. S. Yedidia, W. T. Freeman and Y. Weiss: Constructing free-energy
approximations and generalized belief propagation algorithms,
IEEE Transactions on Information Theory, 51 (2005).
クラスター変分法という統計物理学の手法
がその一般化の鍵
R. Kikuchi: A theory of cooperative phenomena, Phys. Rev., 81
(1951).
T. Morita: Cluster variation method of cooperative phenomena and
its generalization I, J. Phys. Soc. Jpn, 12 (1957).
12 June, 2007
物理フラクチュオマティクス論(東北大)
6
確率伝搬法の統計物理学的位置付け
木構造を持つグラフィカルモデルではベーテ近似
は転送行列法と等価である．
閉路を持つグラフィカルモデル上のベイジアンネットでの確率伝
搬法はベーテ近似またはその拡張版であるクラスター変分法に
等価である（Yedidia, Weiss and Freeman, NIPS2000）．
転送行列法
||（木構造）
もともとの確率伝搬法
ベーテ近似
クラスター変分法
（菊池近似）
一般化された確率伝搬法
12 June, 2007
物理フラクチュオマティクス論(東北大)
7
一般化された確率伝搬法の応用範囲
Image Processing
K. Tanaka: Statistical-mechanical approach to image processing (Topical Review), J.
Phys. A, 35 (2002).
A. S. Willsky: Multiresolution Markov Models for Signal and Image Processing,
Proceedings of IEEE, 90 (2002).
Low Density Parity Check Codes
Y. Kabashima and D. Saad: Statistical mechanics of low-density parity-check codes
(Topical Review), J. Phys. A, 37 (2004).
S. Ikeda, T. Tanaka and S. Amari: Information geometry of turbo and low-density paritycheck codes, IEEE Transactions on Information Theory, 50 (2004).
CDMA Multiuser Detection Algorithm
Y. Kabashima: A CDMA multiuser detection algorithm on the basis of belief propagation,
J. Phys. A, 36 (2003).
T. Tanaka and M. Okada: Approximate Belief propagation, density evolution, and
statistical neurodynamics for CDMA multiuser detection, IEEE Transactions on
Information Theory, 51 (2005).
Satisfability Problem
O. C. Martin, R. Monasson, R. Zecchina: Statistical mechanics methods and phase
transitions in optimization problems, Theoretical Computer Science, 265 (2001).
M. Mezard, G. Parisi, R. Zecchina: Analytic and algorithmic solution of random
satisfability problems, Science, 297 (2002).
12 June, 2007
物理フラクチュオマティクス論(東北大)
8
確率的情報処理における計算困難の打破の戦略
P1  x1  
 
x 2  T, F x 3  T, F

 P x , x
1
2
, , xL 
x L  T, F
を厳密に計算するのは一部の特殊な例を除いて難しい．
一部の特殊な例とは何か？
一部の特殊な例に適用できるアルゴリズムを一般
の場合に近似アルゴリズムとして適用できるか．
→ アルゴリズム化できるか？動くか？
精度はどの程度か？
12 June, 2007
物理フラクチュオマティクス論(東北大)
9
確率伝搬法 (Belief Propagation)
閉路のないグラフ上の確率モデル
どの枝もそれぞれで独立に和がとれる．
    A a , x  B ( b , x ) C ( c , x ) D ( d , x )
a
b
x
a
b
c
d





   A (a , x )   B (b , x )   C (c , x )   D (d , x ) 





 a
 b
 c
 d

c
d
閉路のあるグラフ上の確率モデル
それぞれで独立に和をとることが困難．
a
b
x
c
    W a , b , c , d , x 
a
b
c
d
d
12 June, 2007
物理フラクチュオマティクス論(東北大)
10
確率伝搬法 (Belief Propagation)
閉路のないグラフ上の確率モデル
P  a , b , c , d , x1 , x 2 
 W A a , x1 W B b , x1 W 12  x1 , x 2 W C c , x 2 W d , x 2 
a
4b
3
2
1
6
d
12 June, 2007
5
x3  a
x4  b
x5  c
x6  d
c
物理フラクチュオマティクス論(東北大)
11
確率伝搬法 (Belief Propagation)
閉路のないグラフ上の確率モデル
W A  a , x1 
a
W B  b , x1 
a
3
1
6
d
W C c , x 2 
12 June, 2007
4b
1 1
2
5
2
1
6
W 12  x1 , x 2 
2
2
4b
3
c
d
5
c
P a , b , c , d , x1 , x 2 
 W A a , x1 W B b , x1 
W D  d , x 2   W  x , x W  c , x W  d , x 
12
1
2
C
2
2
物理フラクチュオマティクス論(東北大)
12
閉路のないグラフ上の確率モデル
P12  x1 , x 2  
 P a , b , c , d , x , x 
1
2
a, b, c, d
 M 3  1  x1 M 4  1  x1 W 12  x1 , x 2 M 6  2  x 2 M 5  2  x 2 
M 3  1  x1  
a
 W a , x 
A
1
a
4b
3
M 5 2  x 2  
6
d
12 June, 2007
1
5
c
 W b , x 
B
1
b
 W c , x 
C
2
c
2
M 4  1  x1  
M 6 2  x2  
 W d , x 
D
2
d
ノード１と２の周辺確率分布は
それぞれ隣接するノードから伝搬され
るメッセージの積により表される．
物理フラクチュオマティクス論(東北大)
13
確率伝搬法 (Belief Propagation)
閉路のないグラフ上の確率モデル
M 1 2  x 2  
   W  x , x W a , x W b , x 
12
1
2
 W  x , x M
31
x1

4b
3
2
6
d
12 June, 2007
1
5
c
1
B
1
b
12
x1
a
a
A
1
2
 x1  M 4  1  x1 
ノード１から隣接ノード２に伝搬するメッセージは（ノー
ド２を除く）ノード１の隣接ノードからノード１に伝搬され
るメッセージの積により表される．

 
M  M
 
メッセージに対する固定点方程式
(Message Passing Rule)
物理フラクチュオマティクス論(東北大)
14
転送行列法＝確率伝搬法（1）
1次元鎖
N 1


1
Pr X  x 
W i,i 1 xi , xi 1 

Z


i 1
 k 1


L k 1 k  x k        W i,i 1  xi , xi 1 


x1 x 2
x k 1  i  1

R k 1 k  x k  

x k 1
12 June, 2007
 N 1


     W i , i  1  x i , x i  1  
xk2
x N 1  i  k

物理フラクチュオマティクス論(東北大)
L k 1  k  x k

k
R k 1  k  x k

k
15
転送行列法＝確率伝搬法（2）
パスはひ
とつ
漸化式
Lk  k 1 x k 1  
L k 1  k  x k
 L k  1  k  x k W k , k  1  x k , x k  1 
k
xk
R k  k 1  x k 1  
 Lk  k 1 x k 1 
k 1
 W k  1, k  x k  1 , x k R k  1  k  x k 
k 1
xk
k
R k  k  1  x k  1  R k 1  k  x k
Pr  X m  x m  
    
x1 x 2

x m 1 x m  1 x m  2


Pr X  x
 


x N 1
L m  1  m  x m R m  1  m  x m 

 L m  1  m  x m R m  1  m  x m

xm
12 June, 2007
物理フラクチュオマティクス論(東北大)
16
閉路のないグラフ上の確率伝搬法
N 1


1
Pr X  x 
W i,i 1 xi , xi 1 

Z


i 1
X1
X2
X3
X k 1
X k 3
Xk
閉路が無い
ことが重要!!
X k 1
X k 2
同じノードは２度通らない
 k


M k  k 1  x k 1        W i,i 1  xi , xi 1 


x1 x 2
x k  i 1


 M k  1  k  x k M k  2  k  x k M k  3  k  x k W k , k  1  x k , x k  1 
xk
12 June, 2007
物理フラクチュオマティクス論(東北大)
17
確率伝搬法
閉路のあるグラフ上の確率モデル

P  x   P  x1 , x 2 ,  , x L  
  ij x i , x j 
ij  B
B：すべてのリンクの集合
P1  x1  
    P x , x
1
x2
３
４
１

２
x3
2
, x3 , , x L 
xL
 x1  M 3  1  x1  M 4  1  x1  M 5  1  x1 
 M 2  1  z 1 M 3  1  z 1 M 4  1  z 1 M 5  1  z 1 
M
21
z1
５
12 June, 2007
物理フラクチュオマティクス論(東北大)
18
閉路のあるグラフ上の確率モデル
 W 12  z1 , x 2 M 3  1  z1 M 4  1  z1 M 5  1  z1 
M 1 2  x 2  
z1
  W 12  z1 , z 2 M 3  1  z1 M 4  1  z1 M 5  1  z1 
z1 z 2
３
４
１
５
２
閉路のあるグラフ上でも局所的な
構造だけに着目してアルゴリムを
構成することは可能．
ただし，得られる結果は厳密では
なく近似アルゴリズム

 
M  M
 
12 June, 2007
メッセージに対する固
定点方程式
物理フラクチュオマティクス論(東北大)
19
固定点方程式と反復法

M
固定点方程式
反復法
*
 
 M
 
*
繰り返し出力を入力に入れることにより，
固定点方程式の解が数値的に得られる．

 
M1   M0

 
M 2   M1

 
M3   M2
 
 
 
y x
y
M1
0
y   ( x)
M
*
M1
M0
x

12 June, 2007
物理フラクチュオマティクス論(東北大)
20
確率伝搬法の情報論的解釈(1)
Kullback-Leibler Divergence
 Qx  
  0
D Q P    Q ( x ) ln 
x
 Px  
Q  x   P  x   D Q P   0
D [Q | P ] 

 Q  x   0 ,


 Q ( x )  1
x

P  x1 , x 2 ,  , x L  
1
Z
 W x , x 
ij
i
j
ij  N
 Q ( x )  ln W  x , x    Q ( x ) ln Q  x   ln
ij
i
j
ij  N
x
x
              
F [Q ]
 F [ Q ]  ln Z
Free Energy
Z 
  W x , x 
ij
x
i
j
ij  N


min  F [ Q ]  Q  x   1  F [ P ]   ln Z
Q
x


12 June, 2007
物理フラクチュオマティクス論(東北大)
21
Z
確率伝搬法の情報論的解釈（２）
 Qx  
  0
D Q P    Q ( x ) ln 
x
 Px  
Px  
1
Z
 W ij x i , x j 
ij  B
Free Energy
KL Divergence
D Q P   F Q   ln  Z 
F Q  
 Q ( x )  ln W ij x i , x j    Q ( x ) ln Q  x 
x
ij  B
x




      Q ( x )  ln W ij x i , x j   Q ( x ) ln Q  x 
ij  B x i x j  x \ x i , x j  
x



Q ij ( x i , x j )

 Q(x)

x \ xi , x j

12 June, 2007


   Q ij x i , x j  ln W ij x i , x j    Q ( x ) ln Q  x 
ij  B x i x j
物理フラクチュオマティクス論(東北大)
x
22
確率伝搬法の情報論的解釈（３）
Free Energy
KL Divergence
D Q P   F Q   ln  Z 
F Q  
   Q ij  ,   ln W ij  ,  
ij  B  
  Q ( x ) ln Q  x 
Q i ( xi ) 
Z
 W ij x i , x j 
ij  B
 Q(x)
x \ xi
Q ij ( x i , x j ) 
x

Px  
1

  Q ij  ,   ln W ij  , 

 Q i   ln Q i  

 Q( x)

x \ xi , x j

ij  B  

i  
Bethe Free
Energy


     Q ij  ,   ln Q ij  ,     Q i   ln Q i     Q j   ln Q j   


ij  B   



12 June, 2007
物理フラクチュオマティクス論(東北大)
23
確率伝搬法の情報論的解釈（４）
D Q P   F Bethe
F Bethe
Q , Q   ln Z
i
ij
Q i , Q ij      Q ij  ,   ln W ij  ,      Q i   ln Q i  
ij  B 

i  
arg min D Q P   arg min F
Q
Q


     Q ij  ,   ln Q ij  ,     Q i   ln Q i     Q j   ln Q j   


ij  B   





arg min D Q P   arg min F Bethe Q i , Q ij 
Q i , Q ij 
Q
 Q      Q  ,    1
i

12 June, 2007
ij


Q i   
 Q  ,  
ij

物理フラクチュオマティクス論(東北大)
24
確率伝搬法の情報論的解釈（５）

arg min  FBethe Q i , Q ij  Q i   
Q i , Q ij  



 Q  ,  ,  Q    
ij

i



 Q ij  ,    1


Lagrange Multipliers to ensure the constraints
L Bethe
Q i , Q ij   F Bethe Q i , Q ij 

     i , j   Q i     Q ij  , 

i  j B i 










   i   Q i    1     ij    Q ij  ,    1 




i 
 
 ij  B
  

12 June, 2007
物理フラクチュオマティクス論(東北大)
25
確率伝搬法の情報論的解釈（６）
L Bethe
Q i , Q ij   F Bethe Q i , Q ij 

     i , j   Q i     Q ij  , 

i  j B i 













   i  Q i    1    ij   Q ij  ,    1 




i 
 
 ij  B
  


   Q ij  ,   ln W ij  ,      Q i   ln Q i  
ij  B 

i  



    Q ij  ,   ln Q ij  ,     Q i   ln Q i     Q j   ln Q j   


ij  B   




     i , j   Q i     Q ij  , 

i  j B i 











    i  Q i    1    ij   Q ij  ,    1 





 i   
 ij  B
  

Extremum Condition

Q i  xi 
12 June, 2007


L Bethe Q i , Q ij   0

 Q ij  x i , x j 
物理フラクチュオマティクス論(東北大)


L Bethe Q i , Q ij   0
26
確率伝搬法の情報論的解釈（７）

Q i  xi 


L Bethe Q i , Q ij   0
M 3 1
4

M 4 1
 Q ij  x i , x j 
3
1
M 3 1
M 2 1
2
4
M 4 1
1
5
1
Z1
M
M 2  1  x1  M 3  1  x1 
41
12 June, 2007
3
W 12
 x1  M 5  1  x1 
1
Z 12
2
Condition
8 2
M 7 2
7
M 6 2
5
Q 12  x1 , x 2  

8M
M 5 1
M 5 1
Q 1  x1  

L Bethe Q i , Q ij   0
Extremum
6
M 3  1  x1  M 4  1  x1  M 5  1  x1 
 W 12  x1 , x 2 M 6  2  x 2 M 7  2  x 2 M 8  2  x 2 
物理フラクチュオマティクス論(東北大)
27
確率伝搬法の情報論的解釈（８）
Q 1   

Q 12  , 


M 1 2  
 W  ,  M

12
31
 

M
41
 M 5  1  
Message Update Rule
M 3 1
4
M 4 1
3
M 3 1
M 2 1
1
2
4
M 4 1
1
Z1
M
M 2  1  x1  M 3  1  x1 
41
12 June, 2007
W 12
 x1  M 5  1  x1 
Q 12  x1 , x 2  
1
Z 12
2
8 2
M 7 2
7
M 6 2
5
5
1
8M
M 5 1
M 5 1
Q 1  x1  
3
6
M 3  1  x1  M 4  1  x1  M 5  1  x1 
 W 12  x1 , x 2 M 6  2  x 2 M 7  2  x 2 M 8  2  x 2 
物理フラクチュオマティクス論(東北大)
28
確率伝搬法の情報論的解釈（９）
M 1 2   
 W12  ,  M 3  1  M 4  1  M 5  1  

  W12  ,  M 3  1  M 4  1  M 5  1  


Message Passing Rule of
Belief Propagation
M 3 1
4
M 4 1
M 1 2
2
1
2
5
6
7
3
M 5 1
5
これはクラスター変分法のなかでも
ベーテ近似になる．
12 June, 2007

8
a2
4
3
1
3
=
4
物理フラクチュオマティクス論(東北大)
1
2
5
29
イジング模型の確率変数の期待値

P (a ) 

N  
lim
N
N


1


exp
(
a
a

a
a
)
x , y x  1, y
x, y x, y 1 
T  
x 1 y 1


N
N


1
exp 
( a x , y a x  1, y  a x , y a x , y  1 ) 



T


a
x

1
y

1


(a)
(b)
(c)
(d)

a x, y P (a )
a
平均場近似（ワイス近似）
ベーテ近似
クラスター変分法（菊池近似）
厳密解（L. Onsager）
a x, y  1
T
12 June, 2007
物理フラクチュオマティクス論(東北大)
30
本日のまとめ
確率伝搬法
転送行列法
ベーテ近似・クラスター変分法
反復法
次回
第11回 物理モデルから見た確率的画像処理
第12回 物理モデルから見た確率推論 ---ベイジアンネット
12 June, 2007
物理フラクチュオマティクス論(東北大)
31
演習問題１０-１
確率変数 a, b, c, d, x, y の確率分布 P(a,b,c,d,x,y) を考える．
P a,b,c,d,x , x   W A a , x W B b , x W XY  x , y W C c , y W D d , y 
確率変数 x, y の周辺確率分布 PXY(x,y) が次のように与え
られることを示せ．
P XY  x , y  
    P  a,b,c,d,x
a
b
c
, y
d
 M A  X  x M B  X  x W XY  x , y M C  2  y M D  2  y 
M A  X x  
 W A a , x 
M B  X x  
a
M C Y y 
 W C c , y 
b
M D Y y 
c
12 June, 2007
 W B b , x 
 W D d , y 
d
物理フラクチュオマティクス論(東北大)
32
演習問題１０-２
以下の形に与えられる２つの周辺確率分布
Q 1  x1  
1
Z1
M 2  1  x1  M 3  1  x 1  M 4  1  x1  M 5  1  x1 
Q12  x1 , x 2  
を
1
Z 12
Q 1  x1  
M 3  1  x1 M 4  1  x1 M 5  1  x1 W 12  x1 , x 2 M 6  2  x 2 M 7  2  x 2 M 8  2  x 2 

 Q12  x1 , x 2 に代入することにより次の等式
x2
を導出せよ．
M 1 2  x 2  
12 June, 2007
Z1
Z 12
 W12  x1 , x 2 M 3  1  x1 M 4  1  x1 M 5  1  x1 
x1
物理フラクチュオマティクス論(東北大)
33