確率モデルによる 画像処理技術入門
Download
Report
Transcript 確率モデルによる 画像処理技術入門
確率モデルによる画像処理における
統計的学習理論
東北大学 大学院情報科学研究科
田中 和之
[email protected]
http://www.smapip.is.tohoku.ac.jp/~kazu/
6 November, 2008
IEICE-MIH (Sendai）
1
Contents
1.
2.
3.
4.
6 November, 2008
序論
確率的画像処理
確率伝搬法
まとめ
IEICE-MIH (Sendai）
2
情報処理の守備範囲の推移
数値計算のための情報処理
作業手順が与えられている．
理詰めの情報処理
法則・命題群からの予測
コンピュータの発達により現実化
現実世界の情報処理
現象の起こる要因の多様性
必要なデータが完全に得られるわけではない．
大量のデータは得られるが必要な情報の抽出が難しい．
「すぐ分かること」と「本当に知りたいこと」のギャップからくる
不確実性→何とかして克服したい!!
確率的情報処理
6 November, 2008
IEICE-MIH (Sendai）
3
確率的情報処理における計算の壁
不確実性を確率・統計を用いて表現することの代償
起こりやすいことも起こりづらいこともまじめ
に考慮して計算
計算量的困難
統計的計算技法の改良による計算困難の打破
6 November, 2008
IEICE-MIH (Sendai）
4
たくさんが関連して集まり構成されたシステム：
情報と物理が扱う対象に共通する概念
ビットが集まってデータを形成し，コトとなる．
主な研究対象
情報工学：コト
データ
物理：モノ
０,1
ビット
101101
110001
01001110111010
10001111100001
10000101000000
11101010111010
1010
コト（データ）
物質・自然現象
並びをきちんと決めることによって意味のある文章になる．
More is different in
informatics as well
共通点：たくさんが関連
分子が集まって物質を形成し，モノになる．
分子
分子同士は引っ張り合っている．
6 November, 2008
IEICE-MIH (Sendai）
モノ（物質）
5
More is Different
宇宙
社会
素粒子物理学
クォーク
中性子
生命
材料
陽子
原子核
物質
物性物理学
電子
原子
6 November, 2008
分子
化合物
More is different
P. W. Anderson
IEICE-MIH (Sendai）
6
確率的画像処理
確率的画像処理手法によるノイズ除去
基本単位は画素
画素上の数字は
ディスプレイの
光の強度
192
202
190
202
219
120
100
218
110
最も簡単な既存のフィルター
192 202 190
Average202 219 120 173
100 218 110
192
202
190
202
173
120
100
218
110
信号処理の知見をもとにした画像処理の確率モデル化
マルコフ確率場モデル
6 November, 2008
アルゴリズム化
IEICE-MIH (Sendai）
確率的画像処理
7
Contents
1.
2.
3.
4.
6 November, 2008
序論
確率的画像処理
確率伝搬法
まとめ
IEICE-MIH (Sendai）
8
画像修復の確率モデル
劣化画像 原画像白色ガウス雑音
雑音
通信路
原画像
劣化画像
尤度
事前確率
事後確率
Pr劣化画像| 原画像Pr原画像
Pr原画像| 劣化画像
Pr
劣化画像
周辺尤度
6 November, 2008
IEICE-MIH (Sendai）
9
2値画像の事前確率(Prior Probability)
p
=
p
>
=
？
問題設定
画素の周辺の状態が固定されて
いるとき着目画素の状態は？
>
赤い線が少ないほど確率が高くなるように確率モデルを設計
周りが白ければ着目画素も白くあるべき
6 November, 2008
IEICE-MIH (Sendai）
10
2値画像の事前確率(Prior Probability)
p
=
p
>
=
？-？
問題設定
画素の周辺の状態が固定されて
いるとき着目画素の状態は？
>
赤い線が少ないほど確率
が高くなるように確率モデ
ルを設計
6 November, 2008
=
>
画素がいくつか集まると周りの画素の状態
をよく見ながら自分の状態を決めないといけ
なくなる
もっとたくさん集まったらどうなるか?
IEICE-MIH (Sendai）
11
ゆらぎが大きいときに何が実
際に起こっているのか?
p
1.0
最近接画素間
の共分散
0.8
0.6
0.4
0.2
Markov Network
0.0
0.0
0.2
0.4
p が小さい
0.6
0.8
lnp
1.0
p が大きい
マルコフ連鎖
モンテカルロ
法によるサン
プリング
無秩序状態
6 November, 2008
ゆらぎが大きく点の近くのパターン
IEICE-MIH (Sendai）
秩序状態
12
ゆらぎが大きいときのパター
ンを画像処理に使えるか?
p
1.0
最近接画
素間の共
分散
0.8
0.6
0.4
0.2
0.0
0.0
小
0.2
0.4
0.6
ln p
0.8
大1.0
Markov Network
似ている
6 November, 2008
IEICE-MIH (Sendai）
13
強磁性体と確率モデル
Ising モデル
p
p
=
=
>
共通点：まわりと同じ状態をとろうとする
x
y
6 November, 2008
p
画像は各画素ごとの
強さの異なる光で
あらわされる．
0
255
>
p
=
=
Markov Random Field (MRF) モデル
IEICE-MIH (Sendai）
14
Prior Probability
in Probabilistic Image Processing
Pr F f
1
exp fi f j 2
ZPrior
2 ijN
1
Samples are generated by MCMC.
1,2,,
0.0001
0.0005
0.0030
Markov Chain Monte Carlo Method
N : Set of all the links
6 November, 2008
IEICE-MIH (Sendai）
15
Degradation Process
Additive White Gaussian Noise
Pr G g F f
1
exp
f i gi 2
2
2
2
i 2
1
Gaussian
Noise
n
Degraded Image g
Original Image f
gi fi ~ N 0, 2
Histogram of Gaussian Random Numbers
6 November, 2008
IEICE-MIH (Sendai）
16
ベイズ統計と画像処理
PrF f
事前確率
f
原画像
事後確率
PrG g F f
g
g
加法的白色ガウス雑音 劣化画像
または２元対称通信路
PrG g F f PrF f
PrF f G g
PrG g
Ω：すべての画素の集合
B：すべての最近接画
素対の集合
1
1
exp f i gi 2 f i f j 2
2
2
i
ijB
画像処理は平均，分散，共分散の計算に帰着
計算困難
6 November, 2008
IEICE-MIH (Sendai）
17
Statistical Estimation of Hyperparameters
Hyperparameters , are determined so as to
maximize the marginal likelihood Pr{G=g|,} with
respect to , .
(ˆ , ˆ ) arg max Pr{G g | , }
,
Pr{G g | , } Pr{G g | F z, }Pr{F z | }
z
y
Original Image
Pr{F f | }
x
Degraded Image
f Pr{G g | F f , }
g
g
Marginalized with respect to F
Pr{G g | , }
Marginal Likelihood
6 November, 2008
IEICE-MIH (Sendai）
18
Maximization of Marginal Likelihood by
EM Algorithm
Q , ' , ' , g
Pr{F z | G g, ' , '}ln Pr{F z, G g | , }
Marginal Pr{G g | , }
Pr{G g | F z, }Pr{F z | }
Likelihood
z
Q-Function
z
EM (Expectation Maximization) Algorithm
E-step and M-Step are iterated until convergence:
E - Step :
Q , t , t
Pr{F z | G g, (t ), (t )}ln Pr{F z, G g | , }
z
M - Step : t 1, t 1 arg max Q , t , t .
,
6 November, 2008
IEICE-MIH (Sendai）
19
Contents
1.
2.
3.
4.
6 November, 2008
序論
確率的画像処理
確率伝搬法
まとめ
IEICE-MIH (Sendai）
20
計算困難のポイントは何か
2L 通りの和が計算できるか？
x1 T, F x2 T, F
f x1, x2 ,, xL
x L T, F
このプログラムでは
L=10個のノードで1秒かかるとしたら
L=20個で約17分，
L=30個で約12日，
L=40個で約34年かかる．
厳密に計算するのは一部の特殊な例を
除いて難しい．
マルコフ連鎖モンテカルロ法
確率伝搬法
6 November, 2008
IEICE-MIH (Sendai）
a 0;
for(x1 T or F){
for(x2 T or F){
for(xL T or F){
a a f x1, x2 ,, xL ;
}
}
L 重ループ
}
今回
21
扱いやすい確率モデルのグラフ表現
扱いやすい確率モデルの数理構造
f ( A, D) g(B, D)h(C, D)
AT ,F B T ,F C T ,F
f ( A, D) g ( B, D) h(C, D)
AT ,F
BT ,F
C T ,F
A
D
AT ,F BT ,F C T ,F
B
C
木構造をもつグラフ表現
別々に和を計算できる
A
扱いやすくない確率モデルの数理構造
f ( A, B)g(B, C)h(C, A)
AT ,F BT ,F C T ,F
別々に和を計算することが難しい
6 November, 2008
IEICE-MIH (Sendai）
AT ,F BT ,F C T ,F
B
C
閉路を含むグラフ表現
22
転送行列法＝確率伝搬法（1）
1次元鎖
1 N 1
Pr X x Wi, i 1 xi , xi 1
Z i 1
k 1
Lk 1k xk Wi,i 1 xi , xi 1
x1 x2 xk 1 i 1
N 1
Rk 1k xk Wi,i 1 xi , xi 1
xk 1 xk 2 x N 1 i k
6 November, 2008
IEICE-MIH (Sendai）
Lk 1k xk
k
Rk 1k xk
k
23
転送行列法＝確率伝搬法（2）
パスはひ
とつ
Lk 1k xk Lk k 1xk 1
漸化式
Lk k 1xk 1 Lk 1k xk Wk , k 1xk , xk 1
k k 1
xk
Rk k 1xk 1 Wk 1, k xk 1, xk Rk 1k xk
k 1 k
Rk k 1 xk 1 Rk 1k xk
xk
PrX m xm
x1 x2
xm1 xm1 xm2
Pr X x
x N 1
Lm 1m xm Rm 1m xm
Lm1m xm Rm1m xm
xm
6 November, 2008
IEICE-MIH (Sendai）
24
閉路のないグラフ上の確率伝搬法
1 N 1
Pr X x Wi, i 1 xi , xi 1
Z i 1
X1
X2
X3
X k 1
X k 3
閉路が無い
ことが重要!!
Xk
X k 1
X k 2
同じノードは２度通らない
k
M k k 1 xk 1 Wi, i 1 xi , xi 1
x1 x2
xk i 1
M k 1k xk M k 2k xk M k 3k xk Wk , k 1 xk , xk 1
xk
6 November, 2008
IEICE-MIH (Sendai）
25
確率的画像処理における
確率伝搬法(Belief Propagation)
着目画素とその近傍画素だけを残すと木構造になる．
確率伝搬法(Belief Propagation)の統計的近似アルゴ
リズムとしての転用
6 November, 2008
IEICE-MIH (Sendai）
26
閉路のあるグラフ上の確率モデル
の確率伝搬法(Belief Propagation)
z , f M z M z M z
f
z , z M z M z M z
12
M12
31
2
41
1
51
1
1
z1
2
12
z1
３
４
1
１
５
２
1
2
31
1
41
1
51
1
z2
閉路のあるグラフ上でも局所的な
構造だけに着目してアルゴリムを
構成することは可能．
ただし，得られる結果は厳密では
なく近似アルゴリズム
M M
メッセージに対する固
定点方程式
平均，分散,共分散はこのメッセージを使ってあらわされる
6 November, 2008
IEICE-MIH (Sendai）
27
確率的画像処理における
確率伝搬アルゴリズムの基本構造
４近傍の場合は3入力1出力の更新式
ひとつの画素ごとに４種類の更新パターン
画素上での
動作の様子
の一例
6 November, 2008
IEICE-MIH (Sendai）
28
Belief Propagation
Update Rule of BP
Input
３
BP
EM
４
１
２
５
Output
6 November, 2008
IEICE-MIH (Sendai）
29
Maximization of Marginal
Likelihood by EM Algorithm
t 1, t 1 arg maxQ , t , t , g .
,
Exact
ˆExact 37.624
ˆExact 0.000713
0.001
0.0008
ˆ
f mˆ ,ˆ , g
0.0006
0.0004
0.0002
g
0
0
20
40
60
80
100
ˆLBP 36.335
ˆLBP 0.000600
Loopy Belief Propagation
6 November, 2008
IEICE-MIH (Sendai）
30
Image Restoration by MRF and
Conventional Filters
MSE
Original Image
Degraded Image
Statistical Method
327
Lowpass
Filter
(3x3)
388
(5x5)
413
Median
Filter
(3x3)
486
(5x5)
445
MSE
1
fi fˆi
| | i
Restored
Image
MRF
6 November, 2008
(3x3) Lowpass
IEICE-MIH (Sendai）
(5x5) Median
31
2
Markov
Random
Field
Output
Input
Digital Images Inpainting
based on MRF
M. Yasuda, J. Ohkubo
and K. Tanaka:
Proceedings of
CIMCA&IAWTIC2005.
6 November, 2008
IEICE-MIH (Sendai）
32
結合ガウス・マルコフ確率場モデル
ライン場についての事前情報
6 November, 2008
IEICE-MIH (Sendai）
33
結合ガウス・マルコフ確率場モデル
原画像
劣化画像
ライン場を導入した
確率場モデル
6 November, 2008
ライン場のない確
率場モデル
量子力学的に拡張されたライ
ン場を導入した確率場モデル
IEICE-MIH (Sendai）
34
Contents
1.
2.
3.
4.
6 November, 2008
序論
確率的画像処理
確率伝搬法
まとめ
IEICE-MIH (Sendai）
35
確率モデルによる画像処理技術入門
ベイズ統計をつかった画像処理
画像処理の事前分布
磁性体の物理モデルとの類似性
確率伝搬法（Belief Propagation）
6 November, 2008
IEICE-MIH (Sendai）
36
標本平均による統計的性能
Nishimori and Wong (1999): Physical Review E
Mean Square Error の標本平均
f2
f3
原画像
マルコフ連鎖モンテカルロ法
6 November, 2008
g11
g12
g21
g22
g31
g32
劣化画像
IEICE-MIH (Sendai）
m11
Markov Network
f1
Noise
脳の物理モデル
の記憶容量，
パーセプトロンの容量
の評価に類似の議論
Prior Probability
スピングラス理
論による解析的
評価が可能
m21
m12
m22
m13
m23
推定画像
37
統計的性能評価
1
M
1
2
h g f Pr F f , G g dgdf
2
h g f Pr G g F f Pr F f dgdf
事前確率
P f
劣化過程
f
Pg f
劣化画像
原画像
hg
修復画像
6 November, 2008
IEICE-MIH (Sendai）
g
g
Pfg
事後確率
38
References
K. Tanaka: Statistical-Mechanical Approach to
Image Processing (Topical Review), J. Phys. A,
35 (2002).
A. S. Willsky: Multiresolution Markov Models for
Signal and Image Processing, Proceedings of
IEEE, 90 (2002).
6 November, 2008
IEICE-MIH (Sendai）
39