Transcript Power Point ファイル

確率を手なづける秘伝の計算技法
～古くて新しい確率・統計モデルのパラダイム～
その１：確率・統計モデルが切り拓く
推論と学習の新しいパラダイム
東北大学 大学院情報科学研究科
田中 和之
[email protected]
http://www.smapip.is.tohoku.ac.jp/~kazu/
参考資料：田中和之，樺島祥介，田中利幸，確率モデルと統計
力学を用いた情報処理の新展開，数理科学2004年11月号．
物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
1
本講義の参考文献
西森秀稔，田中和之他著, “特集/知識情報処理の統計力学的
アプローチ”, 数理科学1999年12月号.
田中和之・樺島祥介編, “ミニ特集/ベイズ統計・統計力学と情
報処理”, 計測自動制御学会誌「計測と制御」2003年8月号
甘利俊一，池田和司，田中和之他著, “特集/統計科学の最前
線 ― 新しい情報科学への技術と手法 ―”, 数理科学2004年
3月号.
田中和之，田中利幸，渡辺治，喜多一，堀口剛他著，``連載/
確率的情報処理と統計力学 ---様々なアプローチとその
チュートリアル---‘’，数理科学2004年11月号から開始．
田中和之，村田昇，赤穂昭太郎他著，小特集/確率を手なづ
ける秘伝の計算技法～古くて新しい確率・統計モデルのパラ
ダイム～，電子情報通信学会誌2005年9月号．
物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
2
理詰めの情報処理と日常生活の情報処理
理詰めの情報処理
物理法則にもとづく，あり得べき結果の予測
命題群からの論理的帰結を演繹
コンピュータに発達により現実化
日常生活の情報処理
非演繹的，膨大な計算量
必要な情報が完全に得られるわけではない．
「分かること」と「知りたいこと」のギャップから
くる不確実性→何とかして可能にしたい!!
物理フラクチュオマティクス論講義（２００５年５月１
０日，東北大学）
3
不確実さと確率的情報処理
「分かること」と「知りたいこと」のギャップから
くる不確実性の数学的表現→確率・統計
起こりやすいことも起こりづらいことも
まじめに考慮して計算
計算量的困難
確率的近似アルゴリズムの導入による計算困難の打破
物理フラクチュオマティクス論講義（２００５年５月１
０日，東北大学）
4
確率的情報処理のアルゴリズム設計
確率とランダムネスが基本
モンテカルロ法
マルコフ連鎖モンテカルロ法
乱択アルゴリズム
遺伝的アルゴリズム
確率的近似アルゴリズム
確率伝搬法
クラスター変分法
統計的性能評価法
レプリカ法
物理フラクチュオマティクス論講義（２００５年５月１
０日，東北大学）
5
確率の知識（１）
事象Ａの起こる確率
Pr{ A}
事象Aと事象Bの結合確率 Pr  A , B   Pr  A  B 
条件付き確率と結合確率
Pr B A  
Pr  A , B 
A
Pr  A 
 Pr  A , B   Pr B A  Pr  A 
物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
B
6
確率の知識（２ａ）
ベイズの公式
Pr A B  
Pr B A  Pr  A 
 Pr B A  Pr  A 
A
物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
7
確率の知識（２ｂ）
ベイズの公式の導出
A

Pr  A , B   Pr B A  Pr  A 

Pr  A , B   Pr A B  Pr B 

Pr B    Pr  A , B 

A

 Pr A B  
Pr  A , B 
Pr B 

B
Pr B A  Pr  A 
Pr B 

Pr B A  Pr  A 
 Pr B A  Pr  A 
A
物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
8
確率の知識（３）
結合確率分布と周辺確率分布の一般的関係
Pr B  
   Pr A , B , C , D 
A C
D
Ａ
Ｂ
Ｃ
Ｄ
周辺化
物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
9
確率的画像処理
K. Tanaka, J. Phys. A, vol.35, no.37, 2002.
劣化画像（ガウス雑音）
確率的画像処理手法
MSE:520
MSE: 2137
ローパスフィルター
MSE:860
ウィナーフィルター
MSE:767
物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
メジアンフィルター
MSE:1040
10
誤り訂正符号
誤り訂正符号における確率伝搬法の有効性
Y. Kabashima and D. Saad: J. Phys. A: Vol.37, No.6, 2004.
松嶋，和田山他著:小特集「ターボ符号・LDPC 符号と繰り返し復号の理
論」, 電子情報通信学会誌, vol.88, no.4, 2005.



符号化


G  J0

J0
ノイズ


G    J

n
伝送路



J  J0  n


復号化
  


1
P  , J 
 J ,G    P   P  
 

Z
スピングラス
模型に対応
Prior
復号に確率伝搬法を用いると高性能の復号アルゴリズムができる．
物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
11
誤り訂正符号
1
0
0
1
0
1
0
J
復号
誤り
検出
物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
0
?
0
0

1
1
0
0
1
1
0



J  J0  n
0
0
0
０
0
1
J0
0
0
0
0
０
０
0
１
1
1
1
１
0
０
1
1
0
0
１
０
0
0
1
０
1
0
1
1
1
１
1
0
0
０
Noise

n
1
1
0

100 符号化
111
010 
G  J0
並べ
替え
1
100111010
0
1
0
0

G    J

12
CDMA復調法の性能評価
T. Tanaka, IEEE Trans. Inform. Theory, 2002
移動体通信にスピングラス理論が使える．
ノイズ
話し手の信号

拡散符号系列
無線
通信
他人の
会話
拡散符号系列

復号処理
基地局の
受信信号
物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
この復調方式をベイ
ズの公式で確率モデ
ル化するとスピングラ
ス模型で表される．
13
統計力学的アプローチによる公開鍵暗号
Y. Kabashima, T. Murayama and D. Saad, Phys. Rev. Lett., 2000.
ゴルフコース問題と情報の秘匿
カップが天辺にあれば
何度得ってもボールは
もどってくる
鍵
カップが底にあれば
どこから打ってもボー
ルはカップインする．
エネルギー関数による暗号設計の基本戦略
物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
14
人工知能(詳細は次回)
ベイジアンネット
佐藤泰介，櫻井彰人編: 特集「ベイジアンネット」, 人工知能
学会誌, vol.17, no.5, 2002.
AC
AR
AS
AW
そのまま多体相関をもつ物理
モデルに対応づけられる
確率推論システム
確率伝搬法（Belief Propagation）
の提案による実用化の進展
物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
15
情報通信トラフィック
堀口剛, 電子情報通信学会誌2005年9月号.
確率モデルがインターネットのパケット流制御
に使える．
物理モデルのある種の
ダイナミックスとして書
き換えられる．
どの経路を通ってパケットが届けられるか
はその経路の距離と途中のルーターの混
みぐあいによって決まる．
物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
16
ポイントは何か
2N 通りの和が計算できるか？


x1  True, False x 2  True, False

 W  x1 , x 2 ,  , x N 
x N  True, False
厳密に計算するのは一部の特殊な例を除いて難しい．
一部の特殊な例とは何か？
一部の特殊な例に適用できるアルゴリズムを一般
の場合に近似アルゴリズムとして適用できるか．
→動くか？精度はどの程度か？
物理フラクチュオマティクス論講義（２００５
年５月１０日，東北大学）
17
扱い易いモデル
閉路のないグラフ上の確率モデル
どの枝もそれぞれで独立に和がとれる．
    A a , x  B ( b , x ) C ( c , x ) D ( d , x )
a
a
b
b
c
d





   A (a , x )   B (b , x )   C (c , x )   D (d , x ) 





 a
 b
 c
 d

c
d
閉路のあるグラフ上の確率モデル
それぞれで独立に和をとることが困難．
a
b
c
d
    W a , b , c , d , x 
a
b
c
物理フラクチュオマティクス論講義（２００５
年５月１０日，東北大学）
d
18
閉路のないグラフ上の確率モデル
P12  x1 , x 2  
 P a , b , c , d , x , x 
1
2
a, b, c, d
 M 3  1  x1 M 3  1  x1 W 12  x1 , x 2 M 6  2  x 2 M 5  2  x 2 
a
4b
3
2
6
d
1
5
ノード１，２の周辺確率分布は
ノード１と２にそれぞれ隣接する
ノードから伝搬されるメッセージ
の積により表される．
c
物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
19
閉路のないグラフ上の確率モデル
M 1 2  x 2  
 W  x , x M
12
1
2
31
 x1  M 4  1  x1 
x1
a
4b
3
2
6
d
1
5
c
ノード１から隣接ノード２に伝搬するメッ
セージは（ノード２を除く）ノード１の隣接
ノードからノード１に伝搬されるメッセー
ジの積により表される．

 
M  M
 
メッセージに対する
固定点方程式
物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
20
確率的情報処理と確率伝搬法
ベイズの公式
確率的情報処理
確率モデル
確率伝搬法
J. Pearl: Probabilistic Reasoning in Intelligent Systems:
Networks of Plausible Inference (Morgan Kaufmann, 1988).
S. Ikeda, T. Tanaka and S. Amari: Stochastic reasoning,
free energy, and information geometry, Neural Computation,
vol.16, no.9, pp.1779-1810, 2004.
物理フラクチュオマティクス論講義（２００５
年５月１０日，東北大学）
21
画像修復の確率モデル
劣化画像
 原画像  白色ガウス雑音
雑音
通信路
原画像
劣化画像
事後確率
  
   
Pr 原画像 | 劣化画像  
事前確率
  尤度
    

Pr 劣化画像 | 原画像 Pr 原画像 
Pr 劣化画像 
  
周辺尤度
物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
22
画像修復の事前確率分布
 1
Pr F  f   exp   
 2

  f
 f x 1, y    f x , y  f x , y 1 
2
x,y
2

( x , y ) 




２値画像の例
y

  0 . 25
(
1
 4)
 1
  0 .5
(
1
 2)
(
1
 1)
x
Paramagnetic
Ferromagnetic
臨界点　  0 . 44068  付近でゆらぎが大きく
物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
なる．
23
ベイズ統計・最尤推定と画像処理
P f 

P g f , 
f
g

g x, y  f x, y ~ N 0, 
画素

2

事後確率
P g f ,  P f  
P f g ,  ,   
P g  ,  
x

周辺尤度 P g
ˆ , ˆ   arg
g
原画像 加法的白色ガウス雑音 劣化画像
事前確率
y

 ,  
 P g z ,  P z  d z
max P g  , 
 , 
計算困難

fˆx , y 
z
物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
x,y
P z g , ˆ , ˆ d z
24
確率伝搬法（Belief Propagation）
のメッセージ伝搬規則
M 1 2  f 2  
W  f
12
1
, f 2 M 3  1  f 1 M 4  1  f 1 M 5  1  f 1 df 1

 
M  M
 
3
M 31 ( f1 )
M 4 1 ( f1 )
M 1 2 ( f 2 )
1
4
M 5 1 ( f1 )
5
2
メッセージに対する
固定点方程式
メッセージが計算できれば
統計量が得られる
物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
25
固定点方程式と反復法

M
固定点方程式
反復法


M1  


M2  


M3  
*
 
 
 M
*
繰り返し出力を入力に入れることにより，
固定点方程式の解が数値的に得られる．

M0

M1

M2
 
 
 
y x
y
M1
0
y   ( x)
M
*
M1
M0
x

物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
26
Image Restoration
by Gaussian Graphical Model
ˆ , ˆ   arg
  40
MSE
max P g  , 
 , 
ˆ

ˆ
LBP
327
0.000611
36.302
GBP
315
0.000758
37.909
  40
ˆ
MSE
MSE 
1
| |
  f x, y 
 x , y  
ˆ
LBP
260
0.000574
33.998
GBP
236
0.000652
34.971

2
fˆx , y
物理フラクチュオマティクス論講義（２００５
年５月１０日，東北大学）
27
Image Restoration by Gaussian Graphical
Model and Conventional Filters
Degraded Image
  40
Original Image
MSE
LBP
GBP
LBP
MSE 
1
| |
  f x, y 
 x , y  
GBP

2
fˆx , y
MSE
327
Lowpass
Filter
(3x3)
388
(5x5)
413
315
Median
Filter
(3x3)
486
(5x5)
445
Wiener
Filter
(3x3)
864
(5x5)
548
(3x3) Lowpass
(5x5) Median
物理フラクチュオマティクス論講義（２００５
年５月１０日，東北大学）
(5x5) Wiener
28
Image Restoration by Gaussian Graphical
Model and Conventional Filters
MSE
Degraded Image
Original Image
  40
LBP
GBP
LBP
MSE 
1
| |
  f x, y 
 x , y  
GBP

2
fˆx , y
MSE
(3x3)
241
260
Lowpass
Filter
(5x5)
224
236
Median
Filter
(3x3)
331
(5x5)
244
Wiener
Filter
(3x3)
703
(5x5)
372
(5x5) Lowpass
(5x5) Median
物理フラクチュオマティクス論講義（２００５
年５月１０日，東北大学）
(5x5) Wiener
29
Gray-Level Image Restoration
(Spike Noise)
Original Image
Belief
Propagation
Lowpass Filter
Median Filter
MSE: 2075
MSE: 244
MSE: 217
MSE:135
MSE: 3469
MSE: 371
Degraded
Image
MSE: 523
物理フラクチュオマティクス論講義（２００５
年５月１０日，東北大学）
MSE: 395
30
まとめ
不確実さを伴う情報処理と確率
各種確率的情報処理
データのゆらぎを系統的に扱える画像処理フィル
ターの設計へ（確率伝搬法）
詳細はhttp://www.smapip.is.tohoku.ac.jp/~kazu/SMAPIP-KazuKazu/
チュートリアル講義ノート，お試し用の基本プログラムも公開中
物理フラクチュオマティクス論講義
（２００５年５月１０日，東北大学）
31