Transcript Presentation Slide

確率的情報処理の最近の動向
東北大学 大学院情報科学研究科
田中 和之
[email protected]
http://www.statp.is.tohoku.ac.jp/~kazu/
参考資料：田中和之, 樺島祥介, 田中利幸: 確率的情報処理 ---確率モデルと統計
力学を用いた情報処理の新展開, リレー連載/確率的情報処理と統計力学 --様々なアプローチとそのチュートリアル---，数理科学2004年11月号, pp.61-68.
2005年1月24日，KDDI研究所
1
What is SMAPIP?
http://www.smapip.eei.metro-u.ac.jp./
文部科学省 科学研究費補助金 特定領域研究
「確率的情報処理への統計力学的アプローチ」
２００２年４月－２００６年３月
2005年1月24日，KDDI研究所
2
本講演の参考文献
西森秀稔，田中和之他著, “特集/知識情報処理の統計力学的アプローチ”,
数理科学1999年12月号.
K. Tanaka: Statistical-mechanical approach to image processing
(Topical Review), J. Phys. A: Math. & Gen.,vol.35, no.37, pp.R81R150, September 2002.
田中和之・樺島祥介編, “ミニ特集/ベイズ統計・統計力学と情報処理”, 計
測自動制御学会誌「計測と制御」2003年8月号
甘利俊一，池田和司，田中和之他著, “特集/統計科学の最前線 ― 新しい
情報科学への技術と手法 ―”, 数理科学2004年3月号.
田中和之，田中利幸，渡辺治，喜多一，堀口剛他著，``連載/確率的情報
処理と統計力学 ---様々なアプローチとそのチュートリアル---‘’，数理科学
2004年11月号から開始．
樺島利幸，田中利幸編，”小特集/確率を手なづける秘伝の計算技法～古
くて新しい確率・統計モデルのパラダイム～”，電子情報通信学会誌2005
年9月号．
2005年1月24日，KDDI研究所
3
確率的画像処理
K. Tanaka, J. Phys. A, vol.35, no.37, 2002.
劣化画像（ガウス雑音）
確率的画像処理手法
MSE:520
MSE: 2137
平滑化フィルター
MSE:860
ウィナーフィルター
MSE:767
2005年1月24日，KDDI研究所
メジアンフィルター
MSE:1040
4
誤り訂正符号
Y. Kabashima and D. Saad, J. Phys. A, vol.37, no.6, 2004.


符号化
 
G  J 0

J0
ノイズ

n
  
G   J
伝送路
  
J  J0  n


復号化
確率伝搬法により高性能の復号アルゴリズムができる．
2005年1月24日，KDDI研究所
5
CDMA復調法の性能評価
T. Tanaka: IEEE Trans. Inform. Theory, vol.48, no.19, 2002.
Y. Kabashima: J. Phys. A, vol.36, no.43, 2003.
移動体通信と統計力学の意外な関係．
ノイズ
話し手の信号

拡散符号系列
無線
通信
他人の
会話
拡散符号系列

復号処理
基地局の
受信信号
2005年1月24日，KDDI研究所
この復調方式をベイ
ズの公式で確率モデ
ル化すると統計力学
でよく知られた確率モ
デルで表される．
6
統計力学的アプローチによる公開鍵暗号
Y. Kabashima, T. Murayama and D. Saad, Phys. Rev. Lett., 2000.
ゴルフコース問題と情報の秘匿
カップが天辺にあれば
何度得ってもボールは
もどってくる
鍵
カップが底にあれば
どこから打ってもボー
ルはカップインする．
エネルギー関数による暗号設計の基本戦略
2005年1月24日，KDDI研究所
7
人工知能
ベイジアンネット
本村陽一, 人工知能学会誌, vol.17, no.5, 2002.
AC
AR
AS
AW
無向グラフ上の確率モデル
（グラフィカルモデル）
確率推論システム
確率伝搬法（Belief Propagation）が
実現のポイント
2005年1月24日，KDDI研究所
8
情報通信トラフィック
T. Horiguchi and S. Ishioka: Physica A, vol.297, pp.521-531, 2001.
T. Horiguchi, H. Takahashi, K. Hayashi and C. Yamaguchi:
Physica A, vol.339, pp.653-664, 2004.
統計力学でよく知られた確率モデルがインター
ネットのパケット流制御に使える．
物理モデルのある種の
ダイナミックスとして書
き換えられる．
どの経路を通ってパケットが届けられるか
はその経路の距離と途中のルーターの混
みぐあいによって決まる．
2005年1月24日，KDDI研究所
9
ポイントは何か
2N 通りの和が計算できるか？



x1 True,False x2 True,False
W x1, x2,, xN 
xN True,False
厳密に計算するのは一部の特殊な例を除いて難しい．
一部の特殊な例とは何か？
一部の特殊な例に適用できるアルゴリズムを一般
の場合に近似アルゴリズムとして適用できるか．
→動くか？精度はどの程度か？
2005年1月24日，KDDI研究所
10
扱い易いモデル
閉路のないグラフ上の確率モデル
どの枝もそれぞれで独立に和がとれる．
 Aa, xB(b, x)C(c, x)D(d , x)
a
a b c d
b





   A(a, x)   B(b, x)  C(c, x)   D(d , x) 





a
 b
 c
 d

c
d
閉路のあるグラフ上の確率モデル
それぞれで独立に和をとることが困難．
a
b
d
c
W a, b, c, d , x
a b c d
2005年1月24日，KDDI研究所
11
閉路のないグラフ上の確率モデル
P12x1, x2  
 Pa, b, c, d , x , x 
1
2
a ,b,c,d
 M 31 x1 M 31 x1 W12x1, x2 M 62 x2 M 52 x2 
a
4b
3
2
6
d
1
5
ノード１，２の周辺確率分布は
ノード１と２にそれぞれ隣接する
ノードから伝搬されるメッセージ
の積により表される．
c
2005年1月24日，KDDI研究所
12
閉路のないグラフ上の確率モデル
M12 x2   W12x1, x2 M31x1 M41x1 
x1
a
4b
3
2
6
d
1
5
c
ノード１から隣接ノード２に伝搬するメッ
セージは（ノード２を除く）ノード１の隣接
ノードからノード１に伝搬されるメッセー
ジの積により表される．
 
  
M  M
2005年1月24日，KDDI研究所
メッセージに対する
固定点方程式
13
確率的情報処理と確率伝搬法
ベイズの公式
確率的情報処理
確率モデル
確率伝搬法
J. Pearl: Probabilistic Reasoning in Intelligent Systems:
Networks of Plausible Inference (Morgan Kaufmann, 1988).
S. Ikeda, T. Tanaka and S. Amari: Stochastic reasoning,
free energy, and information geometry, Neural Computation,
vol.16, no.9, pp.1779-1810, 2004.
2005年1月24日，KDDI研究所
14
画像修復の確率モデル
劣化画像 原画像白色ガウス雑音
雑音
通信路
原画像
劣化画像
尤度
事前確率













事後確率

 Pr劣化画像| 原画像Pr原画像
Pr原画像| 劣化画像 

Pr
劣化画像

周辺尤度
2005年1月24日，KDDI研究所
15
画像修復の事前確率分布

 1
PrF  f  exp     f x, y  f x1, y 2   f x, y  f x, y 1 2
 2 ( x, y )





２値画像の例
y

  0.25
  0.5
 1
( 1  4)
( 1  2)
( 1  1)
x
Paramagnetic
Ferromagnetic
  0.44068付近でゆらぎが大きくなる．
臨界点　2005年1月24日，KDDI研究所
16
ベイズ統計・最尤推定と画像処理
Pf  
Pg f , 
f
原画像 加法的白色ガウス雑音 劣化画像
事前確率

g x, y  f x, y ~ N 0, 2
画素
y

x
周辺尤度
g
g

Pg f , Pf  
Pf g, ,  
Pg  , 
事後確率
計算困難
Pg  ,    Pg z, Pz  dz
ˆ ,ˆ   argmax Pg , 
 , 
fˆx, y   z x, y Pz g,ˆ ,ˆ dz
2005年1月24日，KDDI研究所
17
確率伝搬法（Belief Propagation）
のメッセージ伝搬規則
M12  f 2   W12 f1, f 2 M31  f1 M 41  f1 M51  f1 df1
 
  
M  M
3
M 31 ( f1 )
M 41 ( f1 )
M12 ( f 2 )
1
4
M 51 ( f1 )
5
2
メッセージに対する
固定点方程式
メッセージが計算できれば
統計量が得られる
2005年1月24日，KDDI研究所
18
固定点方程式と反復法
固定点方程式
反復法
 
*  *
M  M
繰り返し出力を入力に入れることにより，
固定点方程式の解が数値的に得られる．
 
 
 

 
M1   M 0

 
M 2   M1

 
M3   M 2

y
M1
*
M1
M
0
2005年1月24日，KDDI研究所
yx
y  (x)
M0
x
19
Image Restoration
by Gaussian Graphical Model
ˆ ,ˆ   argmax Pg , 
  40
 , 
MSE
̂
̂
LBP
327
0.000611
36.302
GBP
315
0.000758
37.909
MSE
̂
̂
LBP
260
0.000574
33.998
GBP
236
0.000652
34.971
  40
MSE 


2
1
f x, y  fˆx, y

|  | x, y 
2005年1月24日，KDDI研究所
20
Image Restoration by Gaussian Graphical
Model and Conventional Filters
MSE
Degraded Image
  40
Original Image
LBP
GBP
LBP
MSE 

GBP

2
1
f x, y  fˆx, y

|  | x, y 
MSE
327
Lowpass
Filter
(3x3)
388
(5x5)
413
315
Median
Filter
(3x3)
486
(5x5)
445
Wiener
Filter
(3x3)
864
(5x5)
548
(3x3) Lowpass
2005年1月24日，KDDI研究所
(5x5) Median
(5x5) Wiener
21
Image Restoration by Gaussian Graphical
Model and Conventional Filters
MSE
Degraded Image
  40
Original Image
LBP
GBP
LBP
MSE 

GBP

2
1
f x, y  fˆx, y

|  | x, y 
MSE
(3x3)
241
260
Lowpass
Filter
(5x5)
224
236
Median
Filter
(3x3)
331
(5x5)
244
Wiener
Filter
(3x3)
703
(5x5)
372
(5x5) Lowpass
2005年1月24日，KDDI研究所
(5x5) Median
(5x5) Wiener
22
Gray-Level Image Restoration
(Spike Noise)
Original Image
Belief
Propagation
Lowpass Filter
Median Filter
MSE: 2075
MSE: 244
MSE: 217
MSE:135
MSE: 3469
MSE: 371
Degraded
Image
MSE: 523
2005年1月24日，KDDI研究所
MSE: 395
23
まとめ
確率的情報処理の動向
確率伝搬法と画像処理
1.
2.
3.
4.
5.
References
K. Tanaka and J. Inoue: IEICE Trans. on Information and
Systems, Vol.E85-D, No.3, pp.546-557, 2002.
K. Tanaka, J. Inoue and D. M. Titterington: J. Phys. A,
Vol. 36, No. 43, pp.11023-11036, 2003.
田中和之: 計測と制御, Vol.42, No.8, pp.631-636, 2003.
K. Tanaka, H. Shouno, M. Okada and D. M. Titterington: J.
Phys. A, Vol.37, No.36, pp.8675-8696, 2004.
田中和之: 数理科学2004年3月号, pp.15-21.
2005年1月24日，KDDI研究所
24