Transcript Document

確率的画像処理における
EMアルゴリズムの平均場理論
井上純一
北大 大学院工学研究科
URL : http://chaosweb.complex.eng.hokudai.ac.jp/~j_inoue/
Email : [email protected]
共同研究者
田中和之 東北大 大学院情報科学研究科
1
この研究の目的
ベイズ推定の枠組みでの確率的画像修復アルゴリズム ：
画素推定 ： 最大周辺化事後確率推定
ハイパパラメータ ：EMアルゴリズムによる周辺尤度最大化
を平均場モデルを用いて、ダイナミックスの観点から明らか
にする（⇒平均場理論の構築）
⇒ 得られる知見を新しいアルゴリズムの開発に役立てる
2
画像修復


原画像
劣化画像
3
イジングモデル（磁石の模型）での定式化
P({ξ})=exp(βsij ξi ξj )/Zs
ξi
⇒
拡大
すると
= 1
イジングスピン
原画像
Tｓ = （βs）－１
: 制御変数「温
度」
4
劣化画像（条件付確率によるノイズの表現）
P(τi|ξi) = A exp (βττiξi )
↓
劣化画素
ξi

 ξi
with prob.
p
⇒ 別な表現 ：
βτ= (1/2) log(1p / p)
劣化画像

P({τ}|{ξ} ) = exp( βτΣτiξi )/Zτ
βτ
: ノイズレベル
5
有名なベイズの公式による事後確率の導出
P({σ} |{τ}) =
P({τ}|{ σ} )P({σ} )
 σ P({τ}| {σ} ) P({σ} )
ノイズのモデル
原画像のモデル
確率の規格化因子 ⇒ 分配関数
Z = σ exp (J ij σ iσ j + h iτi σ i)
MAP 推定 : エネルギー関数の最適化
H ({σ} |{τ}) =－ J ij σ iσ j ー h iτi σ i
データ（劣化画像）に依存
6
温度を用いた修復（周辺事後確率最大推定）
画素
ξi
の推定値は事後確率での期待値（熱平均値）
sgn( < σ i>) = sgn ( σ σ i exp ( H ({σ} |{τ}) ) / Z)
白黒画像なので符号をとる
H ({σ} |{τ}) = － J ij σ iσ j ー h iτi σ i
⇒ ノイズレベルが大きい場合、MAP推定より高精度で修復できる
Marroquin et al (1987)
7
Nishimori & Wong (1999)
平均場モデル解析 ： M ( J, h ) = [ ξi sgn( < σ i>)]{ ξ, τ}
⇒
西森温度
で最良
8
問題となるポイント
どのように
J
と
h
を選ぶか ?
 周辺尤度最大化法
(Geman & McClure
1987)
EM アルゴリズムによる周辺尤度の最大化
(Dempster et al 1977)
 Iba (1991) によるマルコフ鎖モンテカルロ法の適用
 これらの性能を平均場モデルを用いて計算機実験
に依らない形で評価したい ： 平均場理論の構築
9
平均場モデル
全結合の人工的模型
（例 ： ＳＫモデル、ホップフィールドモデル、ソーラス符号）
平均場近似が厳密に成り立つ（きれいに解ける）
巨視的物理量の振る舞いを定性的に良く説明する
緩和のダイナミックスが有限個の巨視的物理量の
時間発展で記述できる
10
J, h 固定系のダイナミックス
“From microstates to macroscopic quantities”
d pt()
= k [ pt (Fk) wk (Fk)  pt () wk () ]
dt
wk () = (1/2) [1   k tanh [hk()] ]
hk() = (J/N) j  j + h k
 Pt (m,a)=   pt ()  [mm( )]  [aa( )]
m = (1/N) j  j
a = (1/N) j  j j
11
J, h をどう決めるか ? : 周辺尤度最大化
 K( J, h )= log(σ exp (Jij σi σj + hi τi σj ))
 log(σ exp (Jij σi σj ))
 log Zτ
観測データ
不等式 :
[ K ( J, h )]{ τ、}  [ K ( βs , βτ) ] { τ、  }
西森温度
⇒  K ( J, h ) を J と h に関して最大化
12
データ平均による性能評価
[ K ( J, h )]{ τ、}
をレプリカ法により計算
⇒ ハイパーパラメータが西森温度（真値）で周辺尤度最大
13
素朴な勾配法での最大化
（ボルツマンマシン学習）
cJ (dJ/dt) =  K/J, ch (dh/dt) =  K/h
cJ (dJ/dt) =

σ (ij σi σj) exp(Jij σi σj + hi τi σi)
σ exp(Jij σi σj + hi τi σi)
σ (ij σi σj) exp(Jij σi σj )
σ exp(Jij σi σj )
σ (iτi σi) exp(Jij σi σj + hi τi σi )
ch (dh/dt) =
σ exp(Jij σi σj + hi τi σi )
 Nτ2h
14
ダイナミックスの解析
cJ (dJ/dt) = [K/J ] {ξ,τ}
ch (dh/dt) = [K/h] {ξ,τ}
⇒ 右辺をレプリカ法
で計算
⇒ の中に現れる巨視的物理量 ：
[m(t), a(t), m1(t)]
⇒ J,h 固定で個別に計算
の時間発展式と連立して解く
⇒ 重なり ：
M(m(t), a(t), m1(t), J(t), h(t))
15
解析結果
⇒ 初期条件に依らず真のハイパーパラメータ及び重なり
最大値に収束する
(最近の報告 Ozeki & Okada : 温度固定した場合の緩和過程で西森
温度と異なるハイパーパラメータ値で重なり最大）
16
周辺尤度最大化の別法 ： EMアルゴリズム
Q(J,h | Jt ,
ht)
= trσ log Ph ({τ}|{ σ} )PJ ({σ} )
× PJt ,ht ({σ} |{τ})
E ステップ : Q(J,h | Jt , ht) （期待値）を計
算ステップ :
M
Jt+1 = argmaxJ Q(J,h | Jt , ht)
ht+1 = argmaxh Q(J,h | Jt , ht)
⇒ 周辺尤度の間接的最大化
J,h
の収束点は周辺尤度の局所最大点
17
平均場モデルでの具体的構成
Q(J,h | Jt , ht) = J
σ (ij σi σj) exp(Jt ij σi σj + ht i τi σi)
+h
 log
σ exp(Jt ij σi σj + ht i τi σi)
σ (iσi τi ) exp(Jt ij σi σj + ht i τi σi)
σ exp(Jt ij σi σj + ht i τi σi)
σ exp
(J ij σi σj )
+ (Nτ02 / 2τ2)  (Nτ2h2 / 2)
⇒ ハイパーパラメータに関する反復式が書き下せて
データ平均もレプリカ法により処理できる
18
解析結果
⇒ 初期条件に依らず真のハイパーパラメータ及
び重なり最大値に収束する（勾配法と同じ）
⇒ 収束速度は速い
19
勾配法とEMアルゴリズムの比較
⇒ EMアルゴリズムは勾配法より近道を選んでいる
しかし、EMがこれほどうまくいくのは周辺尤度に局所最大
が無い系の特徴
20
平均場EMアルゴリズム
２次元画像へのEMアルゴリズムの適用
（ナイーヴ）平均場近似
注目する画素 σij の周辺の
画素を全てその「期待値」
mi+1 j = < σij >で置き換えてし
まう
 ij Mij tanh(Jt+1 Mij(1)) =  ij Mij tanh(Jt Mij(1) + ht τij)
ht+1 = tanh-1[ (1/N) ij τij tanh(Jt Mij + ht τij) ]
Mij = mi+1 j + mi-1 j + mi j+1 + mi j -1 等
21
性能評価の途中経過
原画像
劣化画像
修復画像
⇒ 真値には収束しないものの、修復画像は割と良好
⇒ トラップされたローカルミニマムが偶然性質の良かった
可能性？
22
まとめ
画像修復とEMアルゴリズムによるハイパーパラメータ推
定のダイナミックスの平均場理論を構築した
平均場理論ではEMアルゴリズムは有効であると言える
が現実の２次元画像ではそうとは限らない（⇒今後の課
題）
より複雑な確率場モデルでの解析（⇒今後の課題）
参考文献 ： J. Inoue and K. Tanaka, Phys.Rev.E 65,
016125 (2002)
23