Transcript Presentation Slide

科研費特定領域研究
「確率的情報処理への統計力学的アプローチ」
平成１６年度第２回公開シンポジューム
“確率推論の数理”
2004年12月6日-8日 東北大学 青葉記念会館
協賛
電子情報通信学会，日本神経回路学会
計測自動制御学会，情報処理学会
日本物理学会，システム制御情報学会
人工知能学会
SMAPIP-MSI2004 （2004年12月）
1
確率推論と情報処理


通信基盤の整備に伴う情報量の爆発的増大．
生命情報科学など大規模な情報処理を必要
とする新分野の出現．
確率推論への期待
避けて通れない計算困難の問題
近似アルゴリズムとしての確率伝搬法・
クラスター変分法への期待
SMAPIP-MSI2004 （2004年12月）
2
確率的情報処理と確率伝搬法
ベイズの公式
確率モデル
確率的情報処理
確率伝搬法
J. Pearl: Probabilistic Reasoning in Intelligent Systems:
Networks of Plausible Inference (Morgan Kaufmann, 1988).
SMAPIP-MSI2004 （2004年12月）
3
統計力学と確率的情報処理
の接点における歴史的変遷
50年代～80年代：物性の解明としての平均場理論の
深まり．
有効場理論（ベーテ近似，クラスター変分法）の発展
TAP方程式をはじめとするスピングラス理論の深まり
90年代初頭：統計力学と確率的情報処理系との構造
的な類似性の指摘．
スピングラス理論とベイズ統計との類似性の認識
（学習理論，誤り訂正符号，画像処理）
90年代後半～：平均場理論の応用範囲が情報科学全
般へ急速に拡大（日本人の貢献大）．
画像処理，誤り訂正符号，移動体通信，
学習理論，パケット流のルーティング，
確率伝搬法と平均場理論・クラスター変分法の類似性の発見
SMAPIP-MSI2004 （2004年12月）
4
進化する確率伝搬法
様々の情報処理への平均場理論の応用
M. Opper and D. Saad (eds), Advanced Mean Field Methods --Theory and Practice, MIT Press, 2001.
確率伝搬法とベーテ近似の等価性
Y. Kabashima and D. Saad, Belief propagation vs. TAP for
decoding corrupted messages, Europhys. Lett. 44, 668 (1998).
クラスター変分法による確率伝搬法の一般化の提案
J. S. Yedidia, W. T. Freeman and Y. Weiss, Generalized belief
propagation, Advances in Neural Information Processing Systems,
13, 689 (2001, MIT Press).
情報幾何の立場からの確率伝搬法の再解釈
S. Ikeda, T. Tanaka and S. Amari: Stochastic reasoning, free
energy, and information geometry, Neural Computation, Vol.16,
No.9, pp.1779-1810, 2004.
SMAPIP-MSI2004 （2004年12月）
5
確率伝搬法の応用
ベイジアンネットシステムの開発
誤り訂正符号における低密度パリティ検査
（LDPC）符号
移動体通信のCDMA復調方式
確率的画像処理
充足可能性問題（SAT） 等々
SMAPIP-MSI2004 （2004年12月）
6
NIPS*2002 post conference workshop on
Propagation Algorithms on Graphs with Cycles:
Theory and Applications
13 and 14 December, 2002,Whistler
Organizers:
S. Ikeda (Kyushu Institute of Technology)
T. Tanaka (Tokyo Metropolitan University)
M. Welling (University of Toronto)
Speakers:
W. T. Freeman, T. Heskes, S. Ikeda, Y. Kabashima, H. J. Kappen,
L. E. Ortiz, R. Palanki, I. Rish, E. Sudderth, K. Tanaka, T. Tanaka,
S. Tatikonda, S. Thrun, M. J. Wainwright, Max Welling,
O. Winther, J. Yedidia, A. L. Yuille
SMAPIP-MSI2004 （2004年12月）
7
SMAPIP公開シンポジューム
「確率推論の数理」
講演者（敬称略）
堀口剛 (東北大)，椎野正寿 (東工大)
渋谷智治 (メディア教育開発センター)
尾関智子 (理研)，中村一尊 (慶應大)
多賀伸幸 (東工大) ，井上真郷 (東工大)
村山立人 (NTTコミュニケーション科学基礎研究所)
樺島祥介 (東工大) ，福島孝治 (東大)
田中利幸 (都立大) ，池田思朗 (統数研)
岡田真人 (東大) ，本村陽一（産総研）
田中和之 (東北大)
SMAPIP-MSI2004 （2004年12月）
8