Transcript PPT

物理フラクチュオマティクス論
Physical Fluctuomatics
第6回 グラフィカルモデルと物理モデル
6th Graphical model and physical model
東北大学 大学院情報科学研究科 応用情報科学専攻
田中 和之(Kazuyuki Tanaka)
[email protected]
http://www.smapip.is.tohoku.ac.jp/~kazu/
15 May, 2008
物理フラクチュオマティクス論（東北大）
1
今回の講義ノート
田中和之著: 確率モデルによる画像処理技術入門,
第5章, 森北出版, 2006.
参考図書
西森秀稔：相転移・臨界現象の統計物理学，
培風館，2005．
宮下精二：熱・統計物理学，培風館，1993．
15 May, 2008
物理フラクチュオマティクス論（東北大）
2
たくさんが関連して集まり構成されたシステム：
情報と物理が扱う対象に共通する概念
ビットが集まってデータを形成し，コトとなる．
主な研究対象
情報工学：コト
データ
物理：モノ
０,1
ビット
101101
110001
01001110111010
10001111100001
10000101000000
11101010111010
1010
コト（データ）
物質・自然現象
並びをきちんと決めることによって意味のある文章になる．
共通点：たくさんが関連
分子が集まって物質を形成し，モノになる．
分子
分子同士は引っ張り合っている．
15 May, 2008
物理フラクチュオマティクス論（東北大）
モノ（物質）
3
何故，確率的情報処理に物理的視点が有効なのか？
物質はたくさんの分子から構成されている
（1 mol の中に 約N=1023個の分子）
分子と分子の間には分子間力が働いている．
    f x , x
1
x1
x2
2
, , x N

xN
のような多重和の大規模計算が宿命（厳密計算は断念）
近似理論によるアプローチ
統計科学による情報処理も同じ多重和の計算が要請される．
物理学的計算手法の情報処理への使い回しが可能
15 May, 2008
物理フラクチュオマティクス論（東北大）
4
強磁性体と確率モデル
P (  1,  1)  P (  1 .  1)  p
P (  1,  1)  P (  1 .  1)

1
 p
2
p
p
p


a1   1 a 2   1

p


1
1

1
1
1
1
P (  1 .  1)  P (  1 .  1)  P (  1,  1)  P (  1,  1)
15 May, 2008
物理フラクチュオマティクス論（東北大）
5
強磁性体と確率モデル
p
p

a1   1 a 2   1
1

1

1
1
1
1

# of Blue Lines 1
# of Red Lines
P (a )  p
(  p)
2
=
>
赤い線が少ないほど確率
が高くなるように確率モデ
ルは設計されている
15 May, 2008
>
スピンがいくつか集まると周りのスピンの状
態をよく見ながら自分の状態を決めないとい
けなくなる もっとたくさん集まったらどうなるか?
物理フラクチュオマティクス論（東北大）
6
強磁性体の確率モデルと More is different
p
p
p


1

マルコフ連鎖モン
テカルロ法による
サンプリング
p


1
 p
2

 p
2
p が小さい
p が大きい
無秩序状態
秩序状態
More is different.
ある p の値の付近で
ゆらぎが大きくなる．
量が増えれば質が変わる
15 May, 2008
物理フラクチュオマティクス論（東北大）
7
外場をもつ簡単な磁性体のモデル
a  1
P (a ) 
e
h

exp( ha )

h  0
exp( ha )
e
+1
h
1
a  1
h が正値なので白（下向きスピン）の確率が高くなる．
平均
m 

aP ( a )  tanh( h )
h ：外場
a  1
分散
V a  

2
( a  m ) P ( a )  1  tanh
2
(h)
a  1
15 May, 2008
物理フラクチュオマティクス論（東北大）
8
相互作用をもつ簡単な磁性体のモデル
P ( a1 , a 2 ) 

exp( Ja 1 a 2 )
 exp( Ja 1 a 2 )
a1   1 a 2   1
a1   1
a 2  1
J  0
J ：相互作用
e
J

e
J が正値なので白白と黒黒の
確率が高くなる．
平均 m 1 

V a 1  
 a1 P ( a1 , a 2 )  0


1
e

+1
J
1
+1

a1   1 a 2   1
分散
J
1
J
1
+1
+1

e


2
( a1  m 1 ) P ( a1 , a 2 )  1
a1   1 a 2   1
15 May, 2008
物理フラクチュオマティクス論（東北大）
9
強磁性体の基本的な確率モデル

a  ( a1 , a 2 ,  , a N )


1
P (a ) 
exp   E ( a ) 
Z
Z 

ai  1
ai  1

exp(  E ( a ))
B：すべての最近接ノード対の集合
a

E (a )   h

ai  J
i 

ai a j
ij  B
h
J
h
J

エネルギーの役割を果たし，エネルギーが低い
状態ほど確率が高くなるようにデザインされる．
問題：
m 
1
N
15 May, 2008
N
 

a i P ( a ) を計算せよ．
i 1 a
物理フラクチュオマティクス論（東北大）
どのノードから周りを
見回しても同じにみえる
10
イジングモデルと平均場近似

a  ( a1 , a 2 ,  , a N )
h
J
ai  1


1
P (a ) 
exp   E ( a ) 
Z

E (a )   h  ai  J
i 
問題： m
 lim
h

ai a j
J

どのノードから周りを
見回しても同じにみえる
ij  B
lim
1
h   0 N   N
N
 

ai P (a )
を計算せよ．
i 1 a
自発磁化 (Spontaneous Magnetization)
15 May, 2008
物理フラクチュオマティクス論（東北大）
11
イジングモデルと平均場近似

E a    h

ai  J
i 

ai a j
ij  B
( a i  m )( a j  m )  0
のとき確率が非常に大きくなると仮定
h
a i a j  ma j  ma i  m

E (a )  

2
( h  4 Jm ) a i
Jm
Jm
i
Jm
Jm
i 
15 May, 2008
物理フラクチュオマティクス論（東北大）
12
イジングモデルと平均場近似


1
P (a ) 
exp(  E ( a )) 
Z

E (a )  

Pi ( a i )
i 
 ( h  4 Jm ) a i
i 
確率変数 ai は互いに独立
m 
N
1
N
 

a i P ( a )  tanh( h  4 Jm )
i 1 a
に対する固定点方程式
15 May, 2008
m   (m )
物理フラクチュオマティクス論（東北大）
13
固定点方程式と反復法
固定点方程式
反復法
m
*
  (m )
繰り返し出力を入力に入れることにより，
固定点方程式の解が数値的に得られる．
x1   ( x 0 )
y
x 2   ( x1 )
x1
x3   ( x 2 )

15 May, 2008
*
0
y x
y   ( x)
m
*
x1
物理フラクチュオマティクス論（東北大）
x0
x
14
平均場近似による周辺確率分布
Pi ( a i ) 


a1 a 2

1
Zi
 

a i 1 a i  1


P (a )
aN
exp(( h  4 Jm ) a i )
m 
h
 a i Pi ( a i )
Jm
Jm
i
Jm
Jm
a i  1
m  tanh(( h  4 J ) m )
15 May, 2008
物理フラクチュオマティクス論（東北大）
Jm：平均場
15
平均場近似の拡張
h
Bethe 近似
Pi ( a i ) 
：有効場
1
Zi
exp(( h  4  ) a i )
Pij ( a i , a j ) 
Pi ( a i ) 

1
Zi
exp(( h  3  )( a i  a j )  Ja i a j )
 Pij ( a i , a j )
h
a j  1
  arctanh (tanh( J ) tanh( h  3  ))
J 

h
 についての固定点方程式
Kikuchi 近似（クラスター変分法）
15 May, 2008
更なる拡張
物理フラクチュオマティクス論（東北大）
16
イジングモデルの確率変数の期待値

P a 


1

exp  h  a i  J  a i a j 


Z
ij  B
 i 


h  0 N   
lim
lim
h
J
h
J


ai P (a )
a
(a)
(b)
(c)
(d)
平均場近似（ワイス近似）
ベーテ近似
クラスター変分法（菊池近似）
厳密解（L. Onsager，C.N.Yang）
h=0 の場合は厳密解が1940年代
に得られている．
15 May, 2008
物理フラクチュオマティクス論（東北大）
1/ J
17
統計物理学におけるモデルの表現
Pr{ A1  a1 , A 2  a 2 ,  , A N  a N }  P ( a1 , a 2 ,  , a N )



Pr{ A  a }  P ( a )
ギブス分布
分配関数
エネルギー関数


1
P (a ) 
exp(  E ( a ))
Z
自由エネルギー

A  ( A1 , A 2 ,  , A N )
Z 

F   ln Z   ln(

exp(  E ( a ))
a


exp(  E ( a )) )
a
15 May, 2008
物理フラクチュオマティクス論（東北大）
18
統計物理学における基本原理
ギブス分布


1
P (a ) 
exp(  E ( a ))
Z
は自由エネルギー最小の変分原理を満たし，
その最小値が – ln Z となる．

min { F [ Q ] |  Q ( a )  1}  F [ P ]   ln Z

a
Q
F [Q ] 

a
15 May, 2008


E ( a )Q ( a ) 


 Q ( a ) ln Q ( a )

a
物理フラクチュオマティクス論（東北大）
19
自由エネルギー最小の変分原理の具体的計算

min { F [ Q ] |  Q ( a )  1}  F [ P ]   ln Z
Q

a











L Q   F Q     Q ( a )  1   ( E ( a )  ln Q ( a )) Q ( a )    Q ( a )  1 
 

 


a
 a

 a



 L Q 
  E ( a )  ln Q ( a )  1    0
Q (a )


ˆ
Q ( a )  exp   E ( a )    1 

ˆ
Q (a ) 
規格化条件
15 May, 2008
物理フラクチュオマティクス論（東北大）


exp   E ( a ) 
  P (a )
 exp  E ( a ) 

a
20
カルバック・ライブラー情報量
と自由エネルギー

 Q (a ) 

D Q P    Q ( a ) ln 
   0

 P (a ) 
a

 Q ( a )  0 ,




Q ( a )  P ( a )  D Q P   0


 Q ( a )  1 
a



1
P (a ) 
exp(  E ( a ))
Z
D [Q | P ] 



Q ( a )E ( a ) 



Q ( a ) ln Q ( a )  ln Z
a     a    

F [Q ]
 F [ Q ]  ln Z
自由エネルギーが最小になるとき，カルバック・ライブラー情報量も最小となる．
15 May, 2008
物理フラクチュオマティクス論（東北大）
21
平均場近似の情報論的理解

Q (a ) 
 Qi (ai )
i 


1
と P a  
exp(  E ( a ))
Z
の距離をカルバック・ライブラー情報量

  Q (a ) 
D Q P   Q ( a ) ln 
 

P (a ) 

a


で計って最小になるように周辺確率分布 Q i ( a i )
を決定する Q ( a )   Q ( a )         Q ( a )
i
15 May, 2008
i

a \ ai
a1 a 2
物理フラクチュオマティクス論（東北大）
a i 1 a i  1
aN
22
平均場近似における
カルバックライブラー情報量

  Q (a ) 
D Q P    Q ( a ) ln 
 

 P (a ) 
a

Q (a ) 
Qi (ai ) 
 Qi (ai )

i 
D Q P   F MF


Q (a )

a \ ai
   
a1 a 2
a i 1 a i  1

Q (a )
aN
Q i   ln  Z 
F MF [{ Q x , y }]   h
   Q i ( )
i     1
J

(
  Q i ( ) )(   Q j ( ) )    Q i   ln Q i  
ij  B    1
15 May, 2008
  1
物理フラクチュオマティクス論（東北大）
i     1
23
カルバック・ライブラー情報量の最小化
と平均場方程式
{Qˆ i ( )}  arg min { D [ Q | P ] |  Q i ( )  1, i   }
{Q i }

条件付き変分
頂点 i の最
近接ノード
の集合




Qˆ i   
exp  ( h  J    Qˆ j ( ) )


Zi
j B i   1


1
Bi
i




Z i   exp  ( h  J    Qˆ j ( ) )


  1
j

B



1
i


｛Qi} に対する固定点方程式
15 May, 2008
物理フラクチュオマティクス論（東北大）
24
イジングモデルにおける
周辺確率分布の直交関数展開

a  ( a1 , a 2 ,  , a N )

Qi (ai )   Q (a ) 

a \ ai
mi 
  
a1 a 2

ai  1
a i 1 a i  1

a i Q a  
Qi (ai ) 
2

1
2
 Q i ( a i )  c  da i
mi ai
aN
 ai Qi (ai )
a i  1
a
1

   Q (a )
(ai
2
 1)
 Q i ( a i )   ( c  da i )  2 c 
a i  1
c 
a i  1
 a i Q i ( a i )   a i ( c  da i )  2 d
a i  1
15 May, 2008
a i  1
物理フラクチュオマティクス論（東北大）
1
2
 Qi (ai ) 
a i  1
 d 
1
2
1
2
 ai Qi (ai ) 
a i  1
1
2
mi
25
通常の平均場方程式へ

E (a )   h

i 

ai  J
h
ai a j
h
J
ij  B
J
m1  m 2    m N  m
1 1
1 1
ˆ
Q i ( a i )   m i a i   ma i
2 2
2 2
どのノードから周りを
見回しても同じにみえる


Qˆ i ( a i ) 
exp ( h  J    Qˆ j ( ) ) a i

Zi
j B i   1


1


exp(( h  4 Jm ) a i )
 Z
i

N

ai P (a )  m
1
m  tanh( h  4 Jm )
固定点方程式
15 May, 2008
1
N
 

i 1 a
物理フラクチュオマティクス論（東北大）
26
今回のまとめ
統計物理学と情報処理の不思議な共通点
強磁性体の確率モデル
平均場理論
ギブス分布と自由エネルギー．
自由エネルギーとカルバックライブラー情報量．
平均場近似の情報論的理解．
15 May, 2008
物理フラクチュオマティクス論（東北大）
27