Transcript 確率モデルによる 画像処理技術入門

領域１１シンポジューム：
確率的情報処理の生み出す
平均場理論の新展開
はじめに：
平均場理論を用いた情報処理の最近の動向
東北大学 大学院情報科学研究科
田中 和之
[email protected]
http://www.statp.is.tohoku.ac.jp/~kazu/
参考文献
田中和之，田中利幸，樺島祥介：確率的情報処理
---確率モデルと統計力学を用いた情報処理の新展開--数理科学２００４年１１月号
日本物理学会 （2004年9月12日）
1
統計力学と確率的情報処理の接点
情報処理の確率モデル
と古典スピン系との
数理構造の類似性
スピングラス理論
がシステムの
統計的性能評価
に有効
平均場理論が
アルゴリズム設計
に有効
日本物理学会 （2004年9月12日）
2
確率的情報処理における
平均場理論
ベイズの公式
確率モデル
グラフィカルモデル
確率的情報処理
要請１：アルゴリズム設計の体系的方法論
要請２： 多様なデータに耐えうる推論システム
ゆらぎを系統的に扱える理論の必要性
日本物理学会 （2004年9月12日）
物理モデルとの
共通の数理
平均場理論の出番
3
画像処理
確率的画像修復 → 空間的非一様外場と最近接格子点対
の相互作用をもつ古典スピン系

 1

1
2
2

 f i  gi     f i  f j 
P f g   exp 

2

Z
ij
 2 i



f  fi i  : Original Image g  gi i  : Degraded Image
劣化画像（ガウス雑音） 確率的画像処理手法
日本物理学会 （2004年9月12日）
4
人工知能
AC
AR
AS
AW
そのまま多体相互作用をもつ
物理モデルに対応づけられる
確率推論システム
平均場理論・転送行列法と同じ
枠組みが人工知能では確率伝
搬法として独自に発展
日本物理学会 （2004年9月12日）
5
平均場理論が何故情報処理に有効？
多くの情報処理は大規模確率モデル
計算困難の問題
近似で良いから，現実的計算時間で
近い結果が得られれば満足．
統計力学の歴史は常にシステムサイズ
無限大との戦いの歴史である．
豊富な経験
日本物理学会 （2004年9月12日）
6
本シンポジュームの
関連分野の歴史的変遷
50年代～80年代：物性の解明としての平均場理論の
深まり．
有効場理論（ベーテ近似，クラスター変分法）の発展
TAP方程式をはじめとするスピングラス理論の深まり
コヒーレント異常法の発見に伴う
新しい平均場理論（超有効場理論）の開発
90年代初頭：統計力学と確率的情報処理系との構造
的な類似性の指摘．
情報幾何の立場からの平均場理論の解釈
90年代後半～：平均場理論の応用範囲が情報科学全
般へ急速に拡大（日本人の貢献大）．
画像処理，誤り訂正符号，移動体通信，
学習理論，パケット流のルーティング
日本物理学会 （2004年9月12日）
7
進化する平均場理論
様々の情報処理への平均場理論の応用
M. Opper and D. Saad (eds), Advanced Mean Field Methods --Theory and Practice, MIT Press, 2001.
確率伝搬法（確率推論の手法として発展したアルゴリ
ズム）とベーテ近似の等価性
Y. Kabashima and D. Saad, Belief propagation vs. TAP for decoding
corrupted messages, Europhys. Lett. 44, 668 (1998).
クラスター変分法による確率伝搬法の一般化の提案
J. S. Yedidia, W. T. Freeman and Y. Weiss, Generalized belief
propagation, Advances in Neural Information Processing Systems,
13, 689 (2001, MIT Press).
日本物理学会 （2004年9月12日）
8
確率的情報処理の生み出す
平均場理論の新展開
講演者（敬称略）
相転移と情報伝達
――高度に一般化された平均場方法――
東京理科大物理 鈴木増雄
平均場近似と情報幾何学
――確率推論を中心に――
理研脳科学総合研究センター 甘利俊一
情報処理における平均場近似の有用性
東北大（院）情報科学 堀口剛
日本物理学会 （2004年9月12日）
9