2003 年 8 月 14 日午前中 前半スライド
Download
Report
Transcript 2003 年 8 月 14 日午前中 前半スライド
統計力学と情報処理
---自由エネルギーの生み出す新しい情報処理技術--2003年8月14日前半
東北大学 大学院情報科学研究科
田中 和之
[email protected]
http://www.statp.is.tohoku.ac.jp/~kazu/
第48回物性若手夏の学校
1
3日間のスケジュール
1日目:確率的情報処理の概観と自由エネル
ギーの情報論的理解
2日目:ベイズ統計・統計力学を用いた確率的画
像処理
3日目:ベイズ統計・統計力学を用いた人工知能
第48回物性若手夏の学校
2
この時間の主な内容
簡単なベイジアンネットの解説
ベイジアンネットと磁性体の物理モデル
の意外な関係
確率伝搬法と転送行列法の意外な関係
第48回物性若手夏の学校
3
ベイジアンネットと統計力学
ベイズの公式
確率モデル
グラフィカルモデル
確率推論
医療診断
故障診断
ベイジアンネット
確率伝搬法
たくさんのノードが関連しあって集まっている.
要請: 多様なデータに耐えうる推論システム
ゆらぎを系統的に扱える理論の必要性
第48回物性若手夏の学校
共通の数理
統計力学の出番
4
確率推論と統計力学の言葉の対応
頂点(Node)
信念(Belief)
確率伝搬法,
Belief Propagation,
Junction Tree
Algorithm
第48回物性若手夏の学校
格子点(Site)
一体分布関数
転送行列法・
ベーテ近似
5
確率推論に使う数学
PrA, B, C PrC A, BPrA, B
PrC A, BPrB APrA
PrC BPrB APrA
PrB A
PrC A, B PrC B
A
B
C
PrA, C
PrA C
PrC
B PrA, B, C
PrA, B, C
第48回物性若手夏の学校
A, B
6
簡単なベイジアンネットの例
問題
芝生がぬれているの
は何故でしょうか?
雨が降ったせいでしょ
うか?
それともスプリンク
ラーを動かしたせいで
しょうか?
PrAR T AW T PrAS T AW T?
第48回物性若手夏の学校
7
簡単なベイジアンネットの例
PrAC , AS , AR , AW
PrAW AC , AS , AR
PrAC , AS , AR
PrAW AC , AS , AR
PrAR AC , AS PrAC , AS
PrAW AC , AS , AR PrAR AC , AS PrAS AC PrAC
PrAW AS , AR PrAR AC PrAS AC PrAC
第48回物性若手夏の学校
8
簡単なベイジアンネットの例
PrAR T AW T PrAS T AW T?
PrAR T AW T
PrAR T, AW T
PrAW T
PrAS T AW T
PrAS T, AW T
PrAW T
第48回物性若手夏の学校
9
簡単なベイジアンネットの例
PrAR T, AW T
PrAC , AS , AR T, AW T 0.4581
AC T,F AS T,F
PrAS T, AW T
PrA , A
AC T,F AR T,F
PrAW T
C
S
T, AR , AW T 0.2781
PrA , A , A , A
AC T,F AS T,F AR T,F
PrAR T AW T
C
S
R
W
T 0.6471
PrAR T, AW T 0.4581
0.7079
PrAW T
0.6471
PrAS T, AW T 0.2781
PrAS T AW T
0.4298
PrAW T
0.6471
回答:芝生がぬれているのは雨が降ったせいだと考えられます.
第48回物性若手夏の学校
10
ベイジアンネットと物理モデル(I)
a1 1, a2 1
A1
PrA1 a1, A2 a2 W a1, a2
一言でいえば公式
A2
z=exp(ln z) を使うということ.
PrA1 a1 , A2 a2 expln PrA1 a1 , A2 a2
expF h1a1 h2a2 J12a1a2
具体的には
W (1,1) expF h1 h2 J12
W (1,1) expF h1 h2 J12
を満たすように係数を決めると確かめられる.
ベイジアンネットで扱われるグラフィカルモデルは多体力
を持つ磁性体の物理モデルに対応づけられる.
第48回物性若手夏の学校
11
ベイジアンネットと物理モデル(II)
PrA1 a1 , A2 a2 , A3 a3 W12 a1 , a2 W23a2 , a3
a1 1, a2 1, a3 1
A1
A2
A3
PrA1 a1 , A2 a2 , A3 a3
expF
exp F12 h112a1 h212a2 J12a1a2
23
23
h
a
h
23
2
2
3 a3 J 23a2 a3
expF h1a1 h2 a2 h3 a3 J12a1a2 J 23a2 a3
ベイジアンネットで扱われるグラフィカルモデルは多体力
を持つ磁性体の物理モデルに対応づけられる.
第48回物性若手夏の学校
12
ベイジアンネットと物理モデル(III)
PrA1 a1, A2 a2 , A3 a3 W a1, a2 , a3
A2
A1
A3
a1 1, a2 1, a3 1
PrA1 a1, A2 a2 , A3 a3
F h1a1 h2a2 h3a3 J12a1a2
exp
J 23a2a3 J13a1a3 Ka1a2a3
ベイジアンネットで扱われるグラフィカルモデルは多体力
を持つ磁性体の物理モデルに対応づけられる.
第48回物性若手夏の学校
13
ベイジアンネットと物理モデル(IV)
AC
AR
AS
AW
ベイジアンネットで扱われるグラフィカルモデルは多体力
を持つ磁性体の物理モデルに対応づけられる.
PrAC aC , AS aS , AR aR , AW aW
F hCaC hSaS hRaR hW aW JCSaCaS JCRaCaR
exp
JSRaSaR JSWaSaW JRWaRaW KRSWaRaSaW
第48回物性若手夏の学校
14
ベイジアンネットと物理モデル(V)
A1
A2
A3
A4
A5
A6
枝分かれのないグラフィカルモデルのベイジアンネット
PrA1 a1 ,, A6 a6
1
W12 a1 , a2 W23 a2 , a3 W34 a3 , a4 W45 a4 , a5 W56 a5 , a6
Z
1次元の磁性体の物理モデル
a1 1, , a6 1
PrA1 a1 ,, A6 a6
F h1 A1 h2 a2 h3 a3 h4 a4
exp h5 a5 h6 a6 J12a1a2 J 23a2 a3
J a a J a a J a a
34 3 4
45 4 5
56 5 6
ノード数が多くなっても転送行列法で数値的に厳密に
計算できる.
第48回物性若手夏の学校
15
1次元鎖のベイジアンネットを
物理の演習問題にすると?
問題:1次元イジング模型の磁化(スピン変
数 sm の期待値)および相関関数( sm sn の
期待値)を求めよ.
N
N 1
i 1
i 1
H (s1, s2 ,, sN ) hi si Ji,i1si si1
こりゃ院試の
統計力学の
問題だ!!
si 1
1
第48回物性若手夏の学校
2
3
N 1
N
16
転送行列法=確率伝搬法(I)
1次元鎖
1 N 1 i1
PrA a Wi ai , ai1
Z i1
k 1 i1
Lk 1k ak Wi ai , ai1
a1 a2
ak 1 i 1
N 1 i1
Rk 1k ak Wi ai , ai1
ak 1 ak 2
aN 1 i k
第48回物性若手夏の学校
Lk 1k ak
k
Rk 1k ak
k
17
転送行列法=確率伝搬法(II)
パスはひ
とつ
漸化式
Lk 1k ak Lk k 1 ak 1
Lk k 1 ak 1 Lk 1k ak Wkk 1 ak , ak 1
k k 1
ak
Rk k 1 ak 1 Wkk1 ak 1, ak Rk 1k ak
k 1 k
Rk k 1 ak 1 Rk 1k ak
ak
PrAm am PrA a
a1
a2
am1 am1 am2
aN 1
Lm1m am Rm1m am
Lm1m am Rm1m am
am
第48回物性若手夏の学校
18
転送行列法=確率伝搬法(III)
1次元鎖
1
2
3
N 1
N
1 N 1 i1
PrA a Wi ai , ai1
Z i1
n1
n1n
i 1
Dm1m am , an Wi ai , ai1
am1 ak 2
an1 i m
n
m
第48回物性若手夏の学校
19
転送行列法=確率伝搬法(IV)
漸化式
Dmk 1km1 am , ak 1 Dmk 11km am , ak Wkk 1ak , ak 1
ak
Dkn1k1n ak 1, an Wkk1ak 1, ak Dkn11kn ak , an
k
Dmk 11
m am , ak
k 1
Dmk
1m am , ak 1
k
m
k 1
k 1 k
n
n1n
Dk k 1 ak 1, an
n
Dkn11
k ak , an
PrAm am , An an PrA a
ak
a1
a2
am1 am1 am2
an1 an1 an2
aN 1
n
Lm1m am Dmn11
m am , an Rn1n an
n1n
L
a
D
m1m m m1m am , an Rn1n an
am an
第48回物性若手夏の学校
20
ベイジアンネットと物理モデル(VI)
閉路のないグラフィカルモデルのベイジアンネット
PrA1 a1,, A6 a6
1
W12 a1, a2 W13a1, a3 W24 a2 , a4 W25a2 , a5 W36 a3 , a6
Z
ベーテ格子上の磁性体の物理モデル
A1
A3
A2
A4
PrA1 a1,, A6 a6
A5
A6
F h1a1 h2a2 h3a3 h4a4
exp h5a5 h6a6 J12a1a2 J13a1a3
J a a J a a J a a
24 2 4 25 2 5 36 3 6
第48回物性若手夏の学校
21
転送行列法=確率伝搬法(V)
1 N 1 i1
PrA a Wi ai , ai1
Z i1
A1
A2
A3
Ak 1
Ak 3
閉路が無い
ことが重要!!
Ak
Ak 1
Ak 2
同じノードは2度通らない
k i1
Tk k 1 ak 1 Wi ai , ai1 Tk 1k ak Tk 2k ak Tk 3k ak Wkk 1 ak , ak 1
a1 a2
ak i 1
ak
第48回物性若手夏の学校
22
扱い易いモデルと計算困難なモデル
扱い易いグラフィカルモデル
a
どの枝もそれぞれで独立に和がとれる.
b
AaB(b)C(c)D(d )
a b
d
c
c d
A(a) B(b) C(c) A(d )
a
b
c
d
計算困難なグラフィカルモデル
a
それぞれで独立に和をとることが困難.
b
d
c
Fa, b, c, d
a b
c d
第48回物性若手夏の学校
23
ベイジアンネットの既存の計算手法
閉路のないグラフィカルモデルのベイジアンネット
確率伝搬法(Belief
Propagation)
J. Pearl, “Probabilistic
reasoning in intelligent systems:
networks of plausible inference”, Morgan Kaufmann, 1988.
=
転送行列法
木構造を持つ磁性体の物理モデル
T. Morita, “The Ising model with an interaction of finite
range on the Cayley tree”, Physica A, vol.83, pp.411-418, 1976.
第48回物性若手夏の学校
24
ベイジアンネットと物理モデル(VI)
閉路のあるグラフィカルモデルのベイジアンネット
PrA1 a1 ,, A8 a8
1 W568(a5 , a6 , a8 )W346(a3 , a4 , a5 )W67 (a6 , a7 )W25 (a2 , a5 )W24 (a2 , a4 )W13(a1 , a3 )
Z
W6 (a6 ) 2 W5 (a5 )W4 (a4 )W3 (a3 )W2 (a2 )
不規則なグラフ構造をもつ格
子上の磁性体の物理モデル
A2
A1
W24
W13
A3
転送行列法が常に厳密な結果
を与えるとは限らなくなる.
平均場近似・ベーテ近似に
よる近似アルゴリズム
第48回物性若手夏の学校
W3
W6
W67
A7
A4
W346 W
4
A6
W568
W25
A5
W5
A8
25
転送行列法とベーテ近似
木構造を持つグラフィカルモデルではベーテ近似
は転送行列法と等価である.
閉路を持つグラフィカルモデル上のベイジアンネットでの確率伝
搬法はベーテ近似またはその拡張版であるクラスター変分法に
等価である(Yedidia, Weiss and Freeman, NIPS2000).
転送行列法
||(木構造)
確率伝搬法
ベーテ近似
クラスター変分法
(菊池近似)
一般化された確率伝搬法
第48回物性若手夏の学校
26
次回の予定
ベイジアンネットと確率伝搬法を用い
た確率推論の概説
線形応答定理を用いた高次の推論シ
ステムへの発展
3日間の講義のまとめ
第48回物性若手夏の学校
27