Transcript 2003 年 8 月 14 日午前中 前半スライド

統計力学と情報処理
---自由エネルギーの生み出す新しい情報処理技術--２００３年８月１４日前半
東北大学 大学院情報科学研究科
田中 和之
[email protected]
http://www.statp.is.tohoku.ac.jp/~kazu/
第48回物性若手夏の学校
1
３日間のスケジュール
１日目：確率的情報処理の概観と自由エネル
ギーの情報論的理解
２日目：ベイズ統計・統計力学を用いた確率的画
像処理
３日目：ベイズ統計・統計力学を用いた人工知能
第48回物性若手夏の学校
2
この時間の主な内容
簡単なベイジアンネットの解説
ベイジアンネットと磁性体の物理モデル
の意外な関係
確率伝搬法と転送行列法の意外な関係
第48回物性若手夏の学校
3
ベイジアンネットと統計力学
ベイズの公式
確率モデル
グラフィカルモデル
確率推論
医療診断
故障診断
ベイジアンネット
確率伝搬法
たくさんのノードが関連しあって集まっている．
要請： 多様なデータに耐えうる推論システム
ゆらぎを系統的に扱える理論の必要性
第48回物性若手夏の学校
共通の数理
統計力学の出番
4
確率推論と統計力学の言葉の対応
頂点(Node)
信念(Belief)
確率伝搬法，
Belief Propagation，
Junction Tree
Algorithm
第48回物性若手夏の学校
格子点(Site)
一体分布関数
転送行列法・
ベーテ近似
5
確率推論に使う数学
PrA, B, C  PrC A, BPrA, B
 PrC A, BPrB APrA
 PrC BPrB APrA
PrB A
PrC A, B PrC B
A
B
C
PrA, C
PrA C 
PrC
B PrA, B, C

 PrA, B, C
第48回物性若手夏の学校
A, B
6
簡単なベイジアンネットの例
問題
芝生がぬれているの
は何故でしょうか？
雨が降ったせいでしょ
うか？
それともスプリンク
ラーを動かしたせいで
しょうか？

PrAR  T AW  T PrAS  T AW  T?

第48回物性若手夏の学校
7
簡単なベイジアンネットの例
PrAC , AS , AR , AW 
 PrAW AC , AS , AR 
 PrAC , AS , AR 
 PrAW AC , AS , AR 
 PrAR AC , AS PrAC , AS 
 PrAW AC , AS , AR PrAR AC , AS PrAS AC PrAC 
 PrAW AS , AR PrAR AC PrAS AC PrAC 
第48回物性若手夏の学校
8
簡単なベイジアンネットの例

PrAR  T AW  T PrAS  T AW  T?

PrAR  T AW  T
PrAR  T, AW  T

PrAW  T
PrAS  T AW  T
PrAS  T, AW  T

PrAW  T
第48回物性若手夏の学校
9
簡単なベイジアンネットの例
PrAR  T, AW  T
   PrAC , AS , AR  T, AW  T  0.4581
AC T,F AS T,F
PrAS  T, AW  T

  PrA , A
AC T,F AR T,F
PrAW  T 
C
S
 T, AR , AW  T  0.2781
  PrA , A , A , A
AC T,F AS T,F AR T,F
PrAR  T AW  T 
C
S
R
W
 T  0.6471
PrAR  T, AW  T 0.4581

 0.7079
PrAW  T
0.6471
PrAS  T, AW  T 0.2781
PrAS  T AW  T

 0.4298
PrAW  T
0.6471
回答：芝生がぬれているのは雨が降ったせいだと考えられます．
第48回物性若手夏の学校
10
ベイジアンネットと物理モデル（I）
a1  1, a2  1
A1
PrA1  a1, A2  a2 W a1, a2 
一言でいえば公式
A2
z=exp(ln z) を使うということ．
PrA1  a1 , A2  a2   expln PrA1  a1 , A2  a2 
 expF  h1a1  h2a2  J12a1a2 
具体的には
W (1,1)  expF  h1  h2  J12 
W (1,1)  expF  h1  h2  J12 
を満たすように係数を決めると確かめられる．
ベイジアンネットで扱われるグラフィカルモデルは多体力
を持つ磁性体の物理モデルに対応づけられる．
第48回物性若手夏の学校
11
ベイジアンネットと物理モデル（ＩＩ）
PrA1  a1 , A2  a2 , A3  a3   W12 a1 , a2 W23a2 , a3 
a1  1, a2  1, a3  1
A1
A2
A3
PrA1  a1 , A2  a2 , A3  a3 

 expF
 exp F12  h112a1  h212a2  J12a1a2


23
23

h
a

h
23
2
2
3 a3  J 23a2 a3
 expF  h1a1  h2 a2  h3 a3  J12a1a2  J 23a2 a3 
ベイジアンネットで扱われるグラフィカルモデルは多体力
を持つ磁性体の物理モデルに対応づけられる．
第48回物性若手夏の学校
12
ベイジアンネットと物理モデル（ＩＩＩ）
PrA1  a1, A2  a2 , A3  a3  W a1, a2 , a3 
A2
A1
A3
a1  1, a2  1, a3  1
PrA1  a1, A2  a2 , A3  a3
 F  h1a1  h2a2  h3a3  J12a1a2 

 exp
  J 23a2a3  J13a1a3  Ka1a2a3 
ベイジアンネットで扱われるグラフィカルモデルは多体力
を持つ磁性体の物理モデルに対応づけられる．
第48回物性若手夏の学校
13
ベイジアンネットと物理モデル（ＩＶ）
AC
AR
AS
AW
ベイジアンネットで扱われるグラフィカルモデルは多体力
を持つ磁性体の物理モデルに対応づけられる．
PrAC  aC , AS  aS , AR  aR , AW  aW 
 F  hCaC  hSaS  hRaR  hW aW  JCSaCaS  JCRaCaR 

 exp
  JSRaSaR  JSWaSaW  JRWaRaW  KRSWaRaSaW 
第48回物性若手夏の学校
14
ベイジアンネットと物理モデル（Ｖ）
A1
A2
A3
A4
A5
A6
枝分かれのないグラフィカルモデルのベイジアンネット
PrA1  a1 ,, A6  a6 
1
 W12 a1 , a2 W23 a2 , a3 W34 a3 , a4 W45 a4 , a5 W56 a5 , a6 
Z
１次元の磁性体の物理モデル
a1  1, , a6  1
PrA1  a1 ,, A6  a6 
 F  h1 A1  h2 a2  h3 a3  h4 a4



 exp  h5 a5  h6 a6  J12a1a2  J 23a2 a3 
 J a a  J a a  J a a

34 3 4
45 4 5
56 5 6


ノード数が多くなっても転送行列法で数値的に厳密に
計算できる．
第48回物性若手夏の学校
15
１次元鎖のベイジアンネットを
物理の演習問題にすると？
問題：１次元イジング模型の磁化（スピン変
数 sm の期待値）および相関関数( sm sn の
期待値）を求めよ．
N
N 1
i 1
i 1
H (s1, s2 ,, sN )   hi si   Ji,i1si si1
こりゃ院試の
統計力学の
問題だ!!
si  1
1
第48回物性若手夏の学校
2
3
N 1
N
16
転送行列法＝確率伝搬法（I）
1次元鎖
1 N 1 i1
PrA  a  Wi ai , ai1 
Z i1
 k 1 i1

Lk 1k ak    Wi ai , ai1 
a1 a2
ak 1  i 1

 N 1 i1

Rk 1k ak    Wi ai , ai1 
ak 1 ak 2
aN 1  i k

第48回物性若手夏の学校
Lk 1k ak 
k
Rk 1k ak 
k
17
転送行列法＝確率伝搬法（II）
パスはひ
とつ
漸化式
Lk 1k ak  Lk k 1 ak 1 
Lk k 1 ak 1    Lk 1k ak Wkk 1 ak , ak 1 
k k 1
ak
Rk k 1 ak 1   Wkk1 ak 1, ak Rk 1k ak 
k 1 k
Rk k 1 ak 1  Rk 1k ak 
ak
PrAm  am    PrA  a
a1
a2
am1 am1 am2
aN 1
Lm1m am Rm1m am 

 Lm1m am Rm1m am 
am
第48回物性若手夏の学校
18
転送行列法＝確率伝搬法（III）
1次元鎖
1
2
3
N 1
N
1 N 1 i1
PrA  a  Wi ai , ai1 
Z i1
n1


n1n
i 1
Dm1m am , an    Wi ai , ai1 
am1 ak 2
an1  i m

n
m
第48回物性若手夏の学校
19
転送行列法＝確率伝搬法（IV）
漸化式
Dmk 1km1 am , ak 1    Dmk 11km am , ak Wkk 1ak , ak 1 
ak
Dkn1k1n ak 1, an   Wkk1ak 1, ak Dkn11kn ak , an 
k
Dmk 11
m am , ak 
k 1
Dmk
1m am , ak 1 
k
m
k 1
k 1 k
n
n1n
Dk k 1 ak 1, an 
n
Dkn11
k ak , an 
PrAm  am , An  an    PrA  a
ak
a1
a2
am1 am1 am2
an1 an1 an2
aN 1
n
Lm1m am Dmn11
m am , an Rn1n an 

n1n


L
a
D
 m1m m m1m am , an Rn1n an 
am an
第48回物性若手夏の学校
20
ベイジアンネットと物理モデル（ＶＩ）
閉路のないグラフィカルモデルのベイジアンネット
PrA1  a1,, A6  a6 
1
 W12 a1, a2 W13a1, a3 W24 a2 , a4 W25a2 , a5 W36 a3 , a6 
Z
ベーテ格子上の磁性体の物理モデル
A1
A3
A2
A4
PrA1  a1,, A6  a6 
A5
A6
 F  h1a1  h2a2  h3a3  h4a4



 exp  h5a5  h6a6  J12a1a2  J13a1a3 
 J a a  J a a  J a a 
 24 2 4 25 2 5 36 3 6 
第48回物性若手夏の学校
21
転送行列法＝確率伝搬法（V）
1 N 1 i1
PrA  a  Wi ai , ai1 
Z i1
A1
A2
A3
Ak 1
Ak 3
閉路が無い
ことが重要!!
Ak
Ak 1
Ak 2
同じノードは２度通らない
 k i1

Tk k 1 ak 1    Wi ai , ai1   Tk 1k ak Tk 2k ak Tk 3k ak Wkk 1 ak , ak 1 
a1 a2
ak  i 1
 ak
第48回物性若手夏の学校
22
扱い易いモデルと計算困難なモデル
扱い易いグラフィカルモデル
a
どの枝もそれぞれで独立に和がとれる．
b
 AaB(b)C(c)D(d )
a b
d
c
c d





   A(a)   B(b)  C(c)   A(d ) 
a
 b
 c
 d

計算困難なグラフィカルモデル
a
それぞれで独立に和をとることが困難．
b
d
c
 Fa, b, c, d 
a b
c d
第48回物性若手夏の学校
23
ベイジアンネットの既存の計算手法
閉路のないグラフィカルモデルのベイジアンネット
確率伝搬法（Belief
Propagation）
J. Pearl, “Probabilistic
reasoning in intelligent systems:
networks of plausible inference”, Morgan Kaufmann, 1988.
＝
転送行列法
木構造を持つ磁性体の物理モデル
T. Morita, “The Ising model with an interaction of finite
range on the Cayley tree”, Physica A, vol.83, pp.411-418, 1976.
第48回物性若手夏の学校
24
ベイジアンネットと物理モデル（ＶＩ）
閉路のあるグラフィカルモデルのベイジアンネット
PrA1  a1 ,, A8  a8  
1 W568(a5 , a6 , a8 )W346(a3 , a4 , a5 )W67 (a6 , a7 )W25 (a2 , a5 )W24 (a2 , a4 )W13(a1 , a3 )
Z
W6 (a6 ) 2 W5 (a5 )W4 (a4 )W3 (a3 )W2 (a2 )
不規則なグラフ構造をもつ格
子上の磁性体の物理モデル
A2
A1
W24
W13
A3
転送行列法が常に厳密な結果
を与えるとは限らなくなる．
平均場近似・ベーテ近似に
よる近似アルゴリズム
第48回物性若手夏の学校
W3
W6
W67
A7
A4
W346 W
4
A6
W568
W25
A5
W5
A8
25
転送行列法とベーテ近似
木構造を持つグラフィカルモデルではベーテ近似
は転送行列法と等価である．
閉路を持つグラフィカルモデル上のベイジアンネットでの確率伝
搬法はベーテ近似またはその拡張版であるクラスター変分法に
等価である（Yedidia, Weiss and Freeman, NIPS2000）．
転送行列法
||（木構造）
確率伝搬法
ベーテ近似
クラスター変分法
（菊池近似）
一般化された確率伝搬法
第48回物性若手夏の学校
26
次回の予定
ベイジアンネットと確率伝搬法を用い
た確率推論の概説
線形応答定理を用いた高次の推論シ
ステムへの発展
３日間の講義のまとめ
第48回物性若手夏の学校
27