Transcript PPT
物理フラクチュオマティクス論
Physical Fluctuomatics
第6回 グラフィカルモデルと物理モデル
6th Graphical model and physical model
東北大学 大学院情報科学研究科 応用情報科学専攻
田中 和之(Kazuyuki Tanaka)
[email protected]
http://www.smapip.is.tohoku.ac.jp/~kazu/
15 May, 2008
物理フラクチュオマティクス論(東北大)
1
今回の講義ノート
田中和之著: 確率モデルによる画像処理技術入門,
第5章, 森北出版, 2006.
参考図書
西森秀稔:相転移・臨界現象の統計物理学,
培風館,2005.
宮下精二:熱・統計物理学,培風館,1993.
15 May, 2008
物理フラクチュオマティクス論(東北大)
2
たくさんが関連して集まり構成されたシステム:
情報と物理が扱う対象に共通する概念
ビットが集まってデータを形成し,コトとなる.
主な研究対象
情報工学:コト
データ
物理:モノ
0,1
ビット
101101
110001
01001110111010
10001111100001
10000101000000
11101010111010
1010
コト(データ)
物質・自然現象
並びをきちんと決めることによって意味のある文章になる.
共通点:たくさんが関連
分子が集まって物質を形成し,モノになる.
分子
分子同士は引っ張り合っている.
15 May, 2008
物理フラクチュオマティクス論(東北大)
モノ(物質)
3
何故,確率的情報処理に物理的視点が有効なのか?
物質はたくさんの分子から構成されている
(1 mol の中に 約N=1023個の分子)
分子と分子の間には分子間力が働いている.
f x , x
1
x1
x2
2
, , x N
xN
のような多重和の大規模計算が宿命(厳密計算は断念)
近似理論によるアプローチ
統計科学による情報処理も同じ多重和の計算が要請される.
物理学的計算手法の情報処理への使い回しが可能
15 May, 2008
物理フラクチュオマティクス論(東北大)
4
強磁性体と確率モデル
P ( 1, 1) P ( 1 . 1) p
P ( 1, 1) P ( 1 . 1)
1
p
2
p
p
p
a1 1 a 2 1
p
1
1
1
1
1
1
P ( 1 . 1) P ( 1 . 1) P ( 1, 1) P ( 1, 1)
15 May, 2008
物理フラクチュオマティクス論(東北大)
5
強磁性体と確率モデル
p
p
a1 1 a 2 1
1
1
1
1
1
1
# of Blue Lines 1
# of Red Lines
P (a ) p
( p)
2
=
>
赤い線が少ないほど確率
が高くなるように確率モデ
ルは設計されている
15 May, 2008
>
スピンがいくつか集まると周りのスピンの状
態をよく見ながら自分の状態を決めないとい
けなくなる もっとたくさん集まったらどうなるか?
物理フラクチュオマティクス論(東北大)
6
強磁性体の確率モデルと More is different
p
p
p
1
マルコフ連鎖モン
テカルロ法による
サンプリング
p
1
p
2
p
2
p が小さい
p が大きい
無秩序状態
秩序状態
More is different.
ある p の値の付近で
ゆらぎが大きくなる.
量が増えれば質が変わる
15 May, 2008
物理フラクチュオマティクス論(東北大)
7
外場をもつ簡単な磁性体のモデル
a 1
P (a )
e
h
exp( ha )
h 0
exp( ha )
e
+1
h
1
a 1
h が正値なので白(下向きスピン)の確率が高くなる.
平均
m
aP ( a ) tanh( h )
h :外場
a 1
分散
V a
2
( a m ) P ( a ) 1 tanh
2
(h)
a 1
15 May, 2008
物理フラクチュオマティクス論(東北大)
8
相互作用をもつ簡単な磁性体のモデル
P ( a1 , a 2 )
exp( Ja 1 a 2 )
exp( Ja 1 a 2 )
a1 1 a 2 1
a1 1
a 2 1
J 0
J :相互作用
e
J
e
J が正値なので白白と黒黒の
確率が高くなる.
平均 m 1
V a 1
a1 P ( a1 , a 2 ) 0
1
e
+1
J
1
+1
a1 1 a 2 1
分散
J
1
J
1
+1
+1
e
2
( a1 m 1 ) P ( a1 , a 2 ) 1
a1 1 a 2 1
15 May, 2008
物理フラクチュオマティクス論(東北大)
9
強磁性体の基本的な確率モデル
a ( a1 , a 2 , , a N )
1
P (a )
exp E ( a )
Z
Z
ai 1
ai 1
exp( E ( a ))
B:すべての最近接ノード対の集合
a
E (a ) h
ai J
i
ai a j
ij B
h
J
h
J
エネルギーの役割を果たし,エネルギーが低い
状態ほど確率が高くなるようにデザインされる.
問題:
m
1
N
15 May, 2008
N
a i P ( a ) を計算せよ.
i 1 a
物理フラクチュオマティクス論(東北大)
どのノードから周りを
見回しても同じにみえる
10
イジングモデルと平均場近似
a ( a1 , a 2 , , a N )
h
J
ai 1
1
P (a )
exp E ( a )
Z
E (a ) h ai J
i
問題: m
lim
h
ai a j
J
どのノードから周りを
見回しても同じにみえる
ij B
lim
1
h 0 N N
N
ai P (a )
を計算せよ.
i 1 a
自発磁化 (Spontaneous Magnetization)
15 May, 2008
物理フラクチュオマティクス論(東北大)
11
イジングモデルと平均場近似
E a h
ai J
i
ai a j
ij B
( a i m )( a j m ) 0
のとき確率が非常に大きくなると仮定
h
a i a j ma j ma i m
E (a )
2
( h 4 Jm ) a i
Jm
Jm
i
Jm
Jm
i
15 May, 2008
物理フラクチュオマティクス論(東北大)
12
イジングモデルと平均場近似
1
P (a )
exp( E ( a ))
Z
E (a )
Pi ( a i )
i
( h 4 Jm ) a i
i
確率変数 ai は互いに独立
m
N
1
N
a i P ( a ) tanh( h 4 Jm )
i 1 a
に対する固定点方程式
15 May, 2008
m (m )
物理フラクチュオマティクス論(東北大)
13
固定点方程式と反復法
固定点方程式
反復法
m
*
(m )
繰り返し出力を入力に入れることにより,
固定点方程式の解が数値的に得られる.
x1 ( x 0 )
y
x 2 ( x1 )
x1
x3 ( x 2 )
15 May, 2008
*
0
y x
y ( x)
m
*
x1
物理フラクチュオマティクス論(東北大)
x0
x
14
平均場近似による周辺確率分布
Pi ( a i )
a1 a 2
1
Zi
a i 1 a i 1
P (a )
aN
exp(( h 4 Jm ) a i )
m
h
a i Pi ( a i )
Jm
Jm
i
Jm
Jm
a i 1
m tanh(( h 4 J ) m )
15 May, 2008
物理フラクチュオマティクス論(東北大)
Jm:平均場
15
平均場近似の拡張
h
Bethe 近似
Pi ( a i )
:有効場
1
Zi
exp(( h 4 ) a i )
Pij ( a i , a j )
Pi ( a i )
1
Zi
exp(( h 3 )( a i a j ) Ja i a j )
Pij ( a i , a j )
h
a j 1
arctanh (tanh( J ) tanh( h 3 ))
J
h
についての固定点方程式
Kikuchi 近似(クラスター変分法)
15 May, 2008
更なる拡張
物理フラクチュオマティクス論(東北大)
16
イジングモデルの確率変数の期待値
P a
1
exp h a i J a i a j
Z
ij B
i
h 0 N
lim
lim
h
J
h
J
ai P (a )
a
(a)
(b)
(c)
(d)
平均場近似(ワイス近似)
ベーテ近似
クラスター変分法(菊池近似)
厳密解(L. Onsager,C.N.Yang)
h=0 の場合は厳密解が1940年代
に得られている.
15 May, 2008
物理フラクチュオマティクス論(東北大)
1/ J
17
統計物理学におけるモデルの表現
Pr{ A1 a1 , A 2 a 2 , , A N a N } P ( a1 , a 2 , , a N )
Pr{ A a } P ( a )
ギブス分布
分配関数
エネルギー関数
1
P (a )
exp( E ( a ))
Z
自由エネルギー
A ( A1 , A 2 , , A N )
Z
F ln Z ln(
exp( E ( a ))
a
exp( E ( a )) )
a
15 May, 2008
物理フラクチュオマティクス論(東北大)
18
統計物理学における基本原理
ギブス分布
1
P (a )
exp( E ( a ))
Z
は自由エネルギー最小の変分原理を満たし,
その最小値が – ln Z となる.
min { F [ Q ] | Q ( a ) 1} F [ P ] ln Z
a
Q
F [Q ]
a
15 May, 2008
E ( a )Q ( a )
Q ( a ) ln Q ( a )
a
物理フラクチュオマティクス論(東北大)
19
自由エネルギー最小の変分原理の具体的計算
min { F [ Q ] | Q ( a ) 1} F [ P ] ln Z
Q
a
L Q F Q Q ( a ) 1 ( E ( a ) ln Q ( a )) Q ( a ) Q ( a ) 1
a
a
a
L Q
E ( a ) ln Q ( a ) 1 0
Q (a )
ˆ
Q ( a ) exp E ( a ) 1
ˆ
Q (a )
規格化条件
15 May, 2008
物理フラクチュオマティクス論(東北大)
exp E ( a )
P (a )
exp E ( a )
a
20
カルバック・ライブラー情報量
と自由エネルギー
Q (a )
D Q P Q ( a ) ln
0
P (a )
a
Q ( a ) 0 ,
Q ( a ) P ( a ) D Q P 0
Q ( a ) 1
a
1
P (a )
exp( E ( a ))
Z
D [Q | P ]
Q ( a )E ( a )
Q ( a ) ln Q ( a ) ln Z
a a
F [Q ]
F [ Q ] ln Z
自由エネルギーが最小になるとき,カルバック・ライブラー情報量も最小となる.
15 May, 2008
物理フラクチュオマティクス論(東北大)
21
平均場近似の情報論的理解
Q (a )
Qi (ai )
i
1
と P a
exp( E ( a ))
Z
の距離をカルバック・ライブラー情報量
Q (a )
D Q P Q ( a ) ln
P (a )
a
で計って最小になるように周辺確率分布 Q i ( a i )
を決定する Q ( a ) Q ( a ) Q ( a )
i
15 May, 2008
i
a \ ai
a1 a 2
物理フラクチュオマティクス論(東北大)
a i 1 a i 1
aN
22
平均場近似における
カルバックライブラー情報量
Q (a )
D Q P Q ( a ) ln
P (a )
a
Q (a )
Qi (ai )
Qi (ai )
i
D Q P F MF
Q (a )
a \ ai
a1 a 2
a i 1 a i 1
Q (a )
aN
Q i ln Z
F MF [{ Q x , y }] h
Q i ( )
i 1
J
(
Q i ( ) )( Q j ( ) ) Q i ln Q i
ij B 1
15 May, 2008
1
物理フラクチュオマティクス論(東北大)
i 1
23
カルバック・ライブラー情報量の最小化
と平均場方程式
{Qˆ i ( )} arg min { D [ Q | P ] | Q i ( ) 1, i }
{Q i }
条件付き変分
頂点 i の最
近接ノード
の集合
Qˆ i
exp ( h J Qˆ j ( ) )
Zi
j B i 1
1
Bi
i
Z i exp ( h J Qˆ j ( ) )
1
j
B
1
i
{Qi} に対する固定点方程式
15 May, 2008
物理フラクチュオマティクス論(東北大)
24
イジングモデルにおける
周辺確率分布の直交関数展開
a ( a1 , a 2 , , a N )
Qi (ai ) Q (a )
a \ ai
mi
a1 a 2
ai 1
a i 1 a i 1
a i Q a
Qi (ai )
2
1
2
Q i ( a i ) c da i
mi ai
aN
ai Qi (ai )
a i 1
a
1
Q (a )
(ai
2
1)
Q i ( a i ) ( c da i ) 2 c
a i 1
c
a i 1
a i Q i ( a i ) a i ( c da i ) 2 d
a i 1
15 May, 2008
a i 1
物理フラクチュオマティクス論(東北大)
1
2
Qi (ai )
a i 1
d
1
2
1
2
ai Qi (ai )
a i 1
1
2
mi
25
通常の平均場方程式へ
E (a ) h
i
ai J
h
ai a j
h
J
ij B
J
m1 m 2 m N m
1 1
1 1
ˆ
Q i ( a i ) m i a i ma i
2 2
2 2
どのノードから周りを
見回しても同じにみえる
Qˆ i ( a i )
exp ( h J Qˆ j ( ) ) a i
Zi
j B i 1
1
exp(( h 4 Jm ) a i )
Z
i
N
ai P (a ) m
1
m tanh( h 4 Jm )
固定点方程式
15 May, 2008
1
N
i 1 a
物理フラクチュオマティクス論(東北大)
26
今回のまとめ
統計物理学と情報処理の不思議な共通点
強磁性体の確率モデル
平均場理論
ギブス分布と自由エネルギー.
自由エネルギーとカルバックライブラー情報量.
平均場近似の情報論的理解.
15 May, 2008
物理フラクチュオマティクス論(東北大)
27