Transcript Power Point

確率的情報処理における
有効場理論の新展開
東北大学 大学院情報科学研究科
田中 和之
[email protected]
http://www.statp.is.tohoku.ac.jp/~kazu/
参考資料：第48回物性夏の学校講義ノート
「統計力学と情報処理 --- 自由エネルギーの生み出す新しい情報処理技術---」
(田中和之著，物性研究 2004年 2 月号に掲載)
http://www.statp.is.tohoku.ac.jp/~kazu/tutorial-lecture-note/SummerSchool200308/
東京理科大 （2004年11月4日）
1
確率的情報処理における
有効場理論
ベイズの公式
確率モデル
グラフィカルモデル
確率的情報処理
要請１：アルゴリズム設計の体系的方法論
要請２： 多様なデータに耐えうる推論システム
ゆらぎを系統的に扱える理論の必要性
東京理科大 （2004年11月4日）
物理モデルとの
共通の数理
有効場理論の出番
2
統計力学と確率的情報処理の接点
情報処理の確率モデル
と古典スピン系との
数理構造の類似性
スピングラス理論
がシステムの
統計的性能評価
に有効
平均場理論が
アルゴリズム設計
に有効
東京理科大 （2004年11月4日）
3
平均場理論が何故情報処理に有効？
多くの情報処理は大規模確率モデル
計算困難の問題
近似で良いから，現実的計算時間で
近い結果が得られれば満足．
統計力学の歴史は常にシステムサイズ
無限大との戦いの歴史である．
豊富な経験
東京理科大 （2004年11月4日）
4
関連分野の歴史的変遷
50年代～80年代：物性の解明としての平均場理論の深まり．
有効場理論（ベーテ近似，クラスター変分法）の発展
TAP方程式をはじめとするスピングラス理論の深まり
コヒーレント異常法の発見に伴う
新しい有効場理論の開発
90年代初頭：統計力学と確率的情報処理系との構造的な類似性
の指摘．
ベイズ統計と西森温度の関係の指摘
情報幾何の立場からの平均場理論の解釈
90年代後半～：平均場理論の応用範囲が情報科学全般へ急速に
拡大（日本人の貢献大）．
レプリカ法を用いたシステムの統計的性能評価
有効場理論を用いた確率的情報処理アルゴリズム設計
画像処理，誤り訂正符号，移動体通信，
学習理論，人工知能
東京理科大 （2004年11月4日）
5
有効場理論と確率伝搬法
確率伝搬法と有効場理論との等価性の指摘
Y. Kabashima and D. Saad, Belief propagation vs. TAP for
decoding corrupted messages, Europhys. Lett. 44 (1998).
M. Opper and D. Saad (eds), Advanced Mean Field Methods --Theory and Practice (MIT Press, 2001).
クラスター変分法による確率伝搬法の一般化の提案
J. S. Yedidia, W. T. Freeman and Y. Weiss, Generalized belief
propagation, Advances in Neural Information Processing
Systems, 13 (2001, MIT Press).
情報幾何としての確率伝搬法の解釈
S. Ikeda, T. Tanaka and S. Amari: Stochastic reasoning, free
energy, and information geometry, Neural Computation, Vol.16,
No.9, pp.1779-1810, 2004.
東京理科大 （2004年11月4日）
6
ポイントは何か
2N 通りの和が計算できるか？


x1  True, False x 2  True, False

 W  x1 , x 2 ,  , x N 
x N  True, False
厳密に計算するのは一部の特殊な例を除いて難しい．
扱いやすい一部の特殊な例とは何か？
一部の特殊な例に適用できるアルゴリズムを一般
の場合に近似アルゴリズムとして適用できるか．
→動くか？精度はどの程度か？
東京理科大 （2004年11月4日）
7
扱い易いモデルと計算困難なモデル
閉路のないグラフィカルモデル
どの枝もそれぞれで独立に和がとれる．
a
b
    A a , x  B ( b , x ) C ( c , x ) D ( d , x )
a
x
c
d
b
c
d





   A (a , x )   B (b , x )   C (c , x )   A (d , x ) 





 a
 b
 c
 d

閉路のあるグラフィカルモデル
それぞれで独立に和をとることが困難．
a
b
x
c
    F a , b , c , d , x 
a
b
c
d
d
東京理科大 （2004年11月4日）
8
本チュートリアル講演のトピックス
確率的画像処理における確率伝搬法
K. Tanaka, H. Shouno, M. Okada and D. M. Titterington:
Accuracy of the Bethe Approximation for Hyperparameter
Estimation in Probabilistic Image Processing, J. Phys. A: Math.
& Gen., 37 (2004).
確率推論における確率伝搬法
K. Tanaka: “Probabilistic inference by means of cluster variation
method and linear response theory”, IEICE Transactions, E86-D
(2003).
東京理科大 （2004年11月4日）
9
この時間の主な内容
確率についての基礎知識の確認
確率的画像処理における平均場理論と確率
伝搬法
確率推論における確率伝搬法
東京理科大 （2004年11月4日）
10
確率の知識（１）
事象Ａの起こる確率
Pr{ A}
事象Aと事象Bの結合確率 Pr  A , B   Pr  A  B 
条件付き確率と結合確率
Pr  A , B 
Pr B A 
 Pr  A , B   Pr B A Pr  A 
Pr  A 
ベイズの公式
Pr B A  Pr  A 
Pr B A  Pr  A 
Pr A B  

Pr B 
 Pr B A  Pr  A 
A
東京理科大 （2004年11月4日）
A
B
A
B
11
確率の知識（２）
結合確率分布と周辺確率分布の一般的関係
Pr B  
   Pr A , B , C , D 
A C
D
Ａ
Ｂ
Ｃ
Ｄ
周辺化
東京理科大 （2004年11月4日）
12
この時間の主な内容
確率についての基礎知識の確認
確率的画像処理における平均場理
論と確率伝搬法
確率推論における確率伝搬法
東京理科大 （2004年11月4日）
13
画像修復の確率モデル
雑音
通信路
原画像
劣化画像
Pr 原画像 | 劣化画像

Pr 劣化画像 | 原画像  Pr 原画像
Pr 劣化画像
東京理科大 （2004年11月4日）


14
ベイズの公式と確率的画像処理
P f 

事前確率
y
画素
g
劣化過程
原画像

x
P g f ,
f
f  f x,y x, y  
事後確率
P  f g, ,  
fˆx , y 
z
x,y

g
劣化画像
g  g x , y  x , y    
P  g f ,  P  f 
P g  , 


P  z g ,  ,  d z
東京理科大 （2004年11月4日）
15
画像修復の劣化過程と事前確率
f x , y , g x , y     ,  
劣化過程
P g f ,   

( x , y ) 
1

exp  
2 
 2
1
2
f
 g x, y 
2
x, y
g x, y  f x, y  n x, y




n x, y ~ N 0, 
2

事前確率
 
P f   
exp  

Z PR  
 2
( x , y ) 
1
事後確率
P  f g , ,  
Z POS
x ', y '
 f x , y , f x ', y '   exp  

f x  1, y
P  g f ,  P  f 
P g  , 

  f x , y ,

 g ,  ,   ( x , y ) 
1

 x, y
 f x, y 
1
8
2

f x, y  g x, y  
2
1
8

2


2
 f x, y 
f x , y 1
2 


 
f x  1, y  f x , y , f x . y  1

1
2
2

f x ', y '  g x ', y '     f x , y  f x ', y '  
2
東京理科大 （2004年11月4日）
2

16
周辺尤度最大化によるハイパパラメータ推定
ˆ , ˆ   arg
max P  g  , 
 , 
P g  ,   
y

原画像
f  f x,y x, y  
fˆx , y 
z
 P  g z ,  P z  d z 
P f 
x



x,y
P  z g , ˆ , ˆ d z
Z POS  g ,  , 
P g f ,
f

2 

g


Z PR 

g
周辺化
P g  ,

周辺尤度
東京理科大 （2004年11月4日）
g
劣化画像
g  g x , y  x , y    
17
周辺確率の導入
Px , y ( f x , y )     f x , y  z x , y P  z g ,  ,  d z
x ', y '
x, y
P

( f x , y , f x ', y ' )
 f
x, y
fˆx , y 
 z x , y   f x ', y '  z x ', y ' P  z g ,  ,  d z
z
x,y
P  z g ,  ,  d z 
東京理科大 （2004年11月4日）



 Px , y  d 
18
確率伝搬法（ベーテ近似）
Px , y  f x , y  



x  1, y
x,y
P
f
( x , y  1)
( x , y  1)
x , y 1
( x  1, y  1)
x  1, y  1
x , y 1
M x, y
M x, y
M x  1, y
x 1, y
x 1, y
( x  1, y )
, z x  1 , y dz x  1 , y
x,y
M x, y
( x  1, y )
( x, y )
( x  1, y )
M x, y
x  2, y
( x  1, y )
( x, y )
M x  1, y
( x  2, y )
x  1, y
M x, y
x , y 1
M
M x, y
x , y 1
x,y
( x , y  1)


Px , y f x , y 
1
Z x, y
x  1, y  1
( f x,y )
M x  1, y
( x , y  1)
x  1, y
M x, y

x , y 1
 M x, y

x  1, y
f x, y M x, y
 f x, y 
 f x , y M xx,, yy  1  f x , y 
x  1, y
Px , y
 f x , y , f x  1, y  
( x  1, y  1)
1
x  1, y
Z x, y
x  1, y
 x, y
 f x , y , f x  1, y 
 f x , y M xx,, yy 1  f x , y M xx,, yy 1  f x , y 
x  2, y
x  1, y  1
x  1, y  1
 M x  1, y  f x  1, y M x  1, y  f x  1, y M x  1, y  f x  1, y 
x  1, y
 M x, y
東京理科大 （2004年11月4日）
19
確率伝搬法におけるメッセージ更新規則

M x  1, y 
x, y
 

x  1, y
 ,  M
x  1, y
 ,  ' M
 x, y
 
   
( x , y  1)
x , y 1
 x, y
x  1, y
x, y
x ', y '
x 1, y
( x  1, y )
x  1, y
x, y
M x , y ( ) 
M x, y
 M
 M
 xx ,',yy '
2
x, y
M x  1, y
M x, y
( x, y )
( x  1, y )
x , y 1
x , y 1


 d  d  '

M
x, y
x, y


2 
 1 x ', y '
exp  
 x , y    xx,',yy ' 
 2

固定点方程式
x , y 1
M x, y
( x , y  1)
x , y 1
x , y 1


 d 

M
x, y
x, y
反復法
東京理科大 （2004年11月4日）

 
M  M
 
20
固定点方程式と反復法

M
固定点方程式
反復法

M1  

M2  

M3  
*
 
 
 M
*
繰り返し出力を入力に入れることにより，
固定点方程式の解が数値的に得られる．

M0

M1

M2
 
 
 
y x
y
M1
0
y   ( x)
M
*
M1
M0
x

東京理科大 （2004年11月4日）
21
画像修復
事前確率から生成された原画像に対する数値実験
劣化画像 (  40)
原画像 (  0 . 001 )
平均場近似
確率伝搬法（ベーテ近似）
厳密解
ˆ  0.000298
ˆ  0.000784
ˆ  0.001090
ˆ  29.1 , MSE  538.5
ˆ  37.8, MSE  302.8
ˆ  39.4, MSE  297.6
MSE 
1
| |
2
ˆ


f

f
 x, y x, y
 x , y  
東京理科大 （2004年11月4日）
22
ガウシアングラフィカルモデル
を用いた画像修復
原画像
劣化画像
MSE: 1512
MSE 
厳密解
平滑化フィルター
MSE:315
MSE: 411
1
| |
  f x, y 
 x , y  

2
fˆx , y
平均場近似
確率伝搬法
MSE: 591
MSE: 325
ウィーナーフィルター
メジアンフィルター
MSE: 545
東京理科大 （2004年11月4日）
MSE: 447
23
ガウシアングラフィカルモデル
を用いた画像修復
原画像
厳密解
1
| |
平均場近似
確率伝搬法
MSE: 1409
MSE: 593
MSE: 324
ウィーナーフィルター
メジアンフィルター
MSE: 369
MSE: 259
平滑化フィルター
MSE:306
MSE 
劣化画像
  f x, y 
 x , y  
MSE: 268

2
fˆx , y
東京理科大 （2004年11月4日）
24
確率的画像処理の今後の動向
理論的方向
パラメータのデータからの学習
ライン場の導入
適応画像処理フィルターへの発展
実用的方向
画像圧縮
領域分割
移動体検出
東京理科大 （2004年11月4日）
25
この時間の主な内容
確率についての基礎知識の確認
確率的画像処理における平均場理論と
確率伝搬法
確率推論における確率伝搬法
東京理科大 （2004年11月4日）
26
確率推論に使う確率の知識
Pr  A , B , C   Pr C A , B  Pr  A , B 
A
 Pr C A , B  Pr B A  Pr  A 
B
 Pr C B  Pr B A  Pr  A 
C
Pr B A 
Pr C A , B   Pr C B 
A
A
B
B
C
Pr A C  
C

Pr  A , C 
Pr C 
 Pr  A , B , C 
B
 Pr  A , B , C 
A,B
東京理科大 （2004年11月4日）
27
簡単なベイジアンネットの例
Pr  AC , AS , AR , A W

 Pr A W AC , AS , AR  Pr AR AC , AS  Pr AS AC  Pr  AC 
 Pr A W AS , AR  Pr AR AC  Pr AS AC  Pr  AC 
AC
AR
AS
AW
東京理科大 （2004年11月4日）
28
より複雑なベイジアンネット
A2
A1
W 24
W 13
A3
W 25
A4
W 346
A6
W 67
A7
A5
W 568
A8
複雑になるほどノード
の個数は多くなり計算
困難が深刻になる
東京理科大 （2004年11月4日）
29
より複雑なベイジアンネット
P a   Pr  A1  a1 , A 2  a 2 ,  , A8  a 8 

1
Z
W 568 ( a 5 , a 6 , a 8 )W 346 ( a 3 , a 4 , a 5 )W 67 ( a 6 , a 7 )
 W 25 ( a 2 , a 5 )W 24 ( a 2 , a 4 )W13 ( a1 , a 3 )
A2
A1
a  a i i  1, 2 ,  ,8 
W 24
W 13
A3
W 25
A4
W 346
A6
W 67
A7
東京理科大 （2004年11月4日）
A5
W 568
A8
30
周辺確率分布
P a   Pr A1  a1 , A2  a 2 ,  , A8  a 8 
Pi ( a i ) 
 P a 
信念
（Belief）
a \ a i 
Pij ( a i , a j ) 
A2
A1
W 24
W 13
 P a 
A3
W 346
a \ a i , a j 
Pijk ( a i , a j , a k ) 
W 25
A4
A6
 P a 
a \ a i , a j , a k 
東京理科大 （2004年11月4日）
W 67
A7
A5
W 568
A8
31
この場合の確率伝搬法の基本方針
P6  a 6  
  P346 a 3 , a 4 , a 6 
a3
A2
A1
M 6  346 ( A6 )
A3
a4
M 313 ( A3 )
A4
A3
M 4  24 ( A4 )
A4
W 346
A6
M 6  67 ( A6 )
A7
P6  a 6  
A5
A8
1
Z6
M 6  67 ( A6 )
M 6  568 ( A6 )
M 6  346
A7
P346  a 3 , a 4 , a 6  
a 6 
 M 6  568  a 6 M 6  67  a 6 
A6
A5
A8
1
Z 346
M 6  568 ( A6 )
W 346  a 3 , a 4 , a 6 
 M 3  13  a 3 M 4  24  a 4 
 M 6  568  a 6 M 6  67  a 6 
東京理科大 （2004年11月4日）
32
確率伝搬法の固定点方程式
  W 346 ( a 3 , a 4 , a 6 ) M 3 13 ( a 3 ) M 4  24 ( a 4 ) 
M 6  346 ( a 6 ) 
a3 a4
   W 346 ( a 3 , a 4 , a 6 ) M 3 13 ( a 3 ) M 4  24 ( a 4 ) 
a3 a 4 a6
A2
A1
M 3 13 ( A3 )
M 4  24 ( A4 )
A3
A2
A1
W 24
W 13
A3
A4
W 25
A4
W 346
M 6  346 ( A6 )
A6
A6
W 67
確率伝搬アルゴリズム
東京理科大 （2004年11月4日）
A7
A5
W 568
A8
33
固定点方程式と反復法

M
固定点方程式
反復法

M1  

M2  

M3  
*
 
 
 M
*
繰り返し出力を入力に入れることにより，
固定点方程式の解が数値的に得られる．

M0

M1

M2
 
 
 
y x
y
M1
0
y   ( x)
M
*
M1
M0
x

東京理科大 （2004年11月4日）
34
数値実験
P8 (  1)  0 . 5607
P8 (  1)  0 . 4393
P58 (  1,  1)  0 . 4736
P58 (  1,  1)  0 . 0764
P58 (  1,  1)  0 . 0871
P58 (  1,  1)  0 . 3629
P8 (  1)  0 . 5640
Belief Propagation
P8 (  1)  0 . 4360
P58 (  1,  1)  0 . 4776
P58 (  1,  1)  0 . 0724
P58 (  1,  1)  0 . 0864
P58 (  1,  1)  0 . 3636
Exact
X1
X
W 13
P8 ( a 8 ) 

X
P ( a1 , a 2 , a 3 , a 4 , a 5 , a 6 , a 7 , a 8 )
X
3
X
 P ( a1 , a 2 , a 3 , a 4 , a 5 , a 6 , a 7 , a 8 )
a \ a 5 , a 8 
東京理科大 （2004年11月4日）
W 25
4
W 346
a \ a 8 
P58 ( a 5 , a 8 ) 
W 67
X
2
W 24
7
X
6
W 568
X8
35
5
数値実験
確率伝搬法

 Present
Pr ABronchitis


Pr ABronchitis
ADyspnea
 Present , ADyspnea

Pr ADyspnea

 Present
 Present

 Present


0 . 3629
 0 . 8261
0 . 4393
A2
A1
W 24
W 13
A3
W 346
W3
W6
W 67
A7
東京理科大 （2004年11月4日）
W 25
A4
W4
A6
A5
W 568
W5
A8
36
ベイジアンネットの今後の動向
自動化が急務．
パラメータのデータからの学習
EM アルゴリズム
クラスター変分法の更なる拡張の試み
Region Graph Method
Max-Product Method
東京理科大 （2004年11月4日）
37
本講義を通してのまとめ
モノの理とコトの技の接点として
の平均場理論
ゆらぎを巧みに扱えるシステム
のデザイン
詳細はhttp://www.statp.is.tohoku.ac.jp/~kazu/SMAPIP-KazuKazu/
チュートリアル講義ノート，お試し用の基本プログラムも公開中
東京理科大 （2004年11月4日）
38
本講義の参考文献
西森秀稔，田中和之他著, “特集/知識情報処理の統計力学
的アプローチ”, 数理科学1999年12月号.
田中和之・樺島祥介編, “ミニ特集/ベイズ統計・統計力学と情
報処理”, 計測自動制御学会誌「計測と制御」2003年8月号
甘利俊一，池田和司，田中和之，田中利幸他著, “特集/統計
科学の最前線 ― 新しい情報科学への技術と手法 ―”, 数理
科学2004年3月号.
田中和之，田中利幸，渡辺治，喜多一，堀口剛他著，“連載/
確率的情報処理と統計力学 ---様々なアプローチとその
チュートリアル---”，数理科学2004年11月号から開始．
東京理科大 （2004年11月4日）
39