Transcript Graph Cuts Segmentation

画像セグメンテーションにおける
ウェーブレット係数の局所テクス
チャ特徴を用いたGraph Cuts
福田恵太・滝口哲也・有木康雄
(神戸大学)
1
研究目的
画像処理における重要な問題の一つに一枚の画像から対象と
なる領域を抽出するセグメンテーションの問題がある．
画像の認識，識別，検索，編集など
様々な画像処理技術の前処理
2
研究背景
近年，セグメンテーション問題をエネルギー最小
化問題で解く手法が多く提案されている．
⇒その中でGraph Cutsという手法を用いる．
Y.Boykov, M.P.Jolly,“Interactive graph cuts for optimal boundary &
region segmentation of object in N-D images”, IEEE International
Conference on Computer Vision and Pattern Recognition
その利点は…
 エネルギー最小化問題を大域的な解で求めることが可能
Snakes, Level Set Methodでは境界線を元に局所解を求める
 他のエネルギー最小法より性能がよい
Belief Propagation, Message Passing法との比較実験
 容易なラベル付けで，与え方に依存しにくい
3
Graph Cuts
n-link
Object
terminal
t-link
S
近傍の画素
関係を表す
O
グラフの作成
物体らしさを
表す
O
B
B
入力画像 (3×4)
S
min cut
Background
terminal
T
背景らしさを
表す
t-link
O
セグメンテーション
B
T
S→Tへの重み総和
が最小となるカット
セグメンテーション結果
4
従来法の問題点 (1)
 t - link > n - link
色分布が強くなり，突発的な誤検出
 n - link > t - link
エッジ情報が強くなり，局所的なエッジに弱い
 平滑化処理の繰り返しによるグラフカット
T. Nagahashi, H.Fujiyoshi, and T.Kanade，“ Image Segmentation Using
Iterated Graph Cuts Based on Multi-scale Smoothing， ”ACCV2007
局所的なエッジ情報に頑健なセグメンテーションが可能
5
従来法の問題点 (2)
 物体及び背景が類似した色を持つ画像
色分布からのセグメンテーションが困難
 局所テクスチャ特徴量を色分布と共に t - linkで扱う
色分布に依存せずセグメンテーションが可能
提案手法
Haar Wavelet変換に基づく多重解像度解析により平滑化と局
所テクスチャ特徴の定義を並列に行い，グラフカットによる
セグメンテーションを繰り返し行う．
6
提案手法
seed
LL: 平滑化画像
入
力
Haar Waveletによる
多重解像度解析
LL,LH,HL,HH
画像取得
(level k)
n-link
Graph Cuts
Segmentation
出
力
t-link
LH,HL,HH:テクスチャ特徴
事前確率
GMM(色+テクスチャ)の更新
k ← k-1
1. SeedとLevel kを与える．
5. 色＋テクスチャをGMMに適用
2. Level kまで多重解像度解析
6. 一段階前の結果から事前確率
3. 平滑化画像をn-linkに使用
7. Graph Cutsの処理を行う
4. 局所テクスチャ特徴を定義
8. k=0まで，2.～7.を繰り返す
7
多重解像度解析
LL2 HL2
LL1
HL1
LH1
HH1
Level 1
LH2 HH2
LH1
HL1
HH1
多重解像度解析
画像データを特定の周波数帯域を持
ついくつかの小さいサイズの画像
データに分割する方法.
Level 2
LL:平滑化画像 HL:縦方向 LH:横方向 HH:斜め方向の変化量
Haar Wavelet 変換 （k=2の時）
Level 0
Level 1
Level 2
8
seed
LL: 平滑化画像
入
力
Haar Waveletによる
多重解像度解析
LL,LH,HL,HH
画像取得
(level k)
n-link
Graph Cuts
Segmentation
出
力
t-link
LH,HL,HH:テクスチャ特徴
事前確率
GMM(色+テクスチャ)の更新
k ← k-1
1. SeedとLevel kを与える．
5. 色＋テクスチャをGMMに適用
2. Level kまで多重解像度解析
6. 一段階前の結果から事前確率
3. 平滑化画像をn-linkに使用
7. Graph Cutsの処理を行う
4. 局所テクスチャ特徴を定義
8. k=0まで，2.～7.を繰り返す
9
n – linkの更新
n - link ：近傍との輝度値を比較し，注目画素と近傍
とのエッジの重みを決定する
LL：平滑化画像 (n-link)
低解像画像から徐々に解像
度を上げることで，大域的
から局所的なセグメンテー
ションを可能とする．
Level 1
Level 0
 (I p  I q )2 
1

B{ p ,q}  exp 

2

 dist( p, q)
2



輝度値が類似している
ほど高い値を持つ．
B{ p ,q}
p
q
B{ p ,q} :グラフのエッジ重み
I p : 画素pの輝度値
I q : 画素qの輝度値
10
seed
LL: 平滑化画像
入
力
Haar Waveletによる
多重解像度解析
LL,LH,HL,HH
画像取得
(level k)
n-link
Graph Cuts
Segmentation
出
力
t-link
LH,HL,HH:テクスチャ特徴
事前確率
GMM(色+テクスチャ)の更新
k ← k-1
1. SeedとLevel kを与える．
5. 色＋テクスチャをGMMに適用
2. Level kまで多重解像度解析
6. 一段階前の結果から事前確率
3. 平滑化画像をn-linkに使用
7. Graph Cutsの処理を行う
4. 局所テクスチャ特徴を定義
8. k=0まで，2.～7.を繰り返す
11
局所テクスチャ特徴量
HL,LH,HH：局所テクスチャ特徴を定義
注目画素ｐ周辺 (３×３) のウェーブレット係数の絶対値平均 とする
元画像
LH (Level 1)
HH (Level 1)
HL (Level 1)
テクスチャの変化量が大きい領域ほど値が大きい
12
seed
LL: 平滑化画像
入
力
Haar Waveletによる
多重解像度解析
LL,LH,HL,HH
画像取得
(level k)
n-link
Graph Cuts
Segmentation
出
力
t-link
LH,HL,HH:テクスチャ特徴
事前確率
GMM(色+テクスチャ)の更新
k ← k-1
1. SeedとLevel kを与える．
5. 色＋テクスチャをGMMに適用
2. Level kまで多重解像度解析
6. 一段階前の結果から事前確率
3. 平滑化画像をn-linkに使用
7. Graph Cutsの処理を行う
4. 局所テクスチャ特徴を定義
8. k=0まで，2.～7.を繰り返す
13
t - linkの更新 (1)
t - link ：学習された物体と背景のモデルから注目画素
とターミナルのエッジの重みを決定する
物体らしいほど
い値をもつ
物体と背景の事後確率から，t-link
の重みを計算する
高
S:”obj”
R p ("obj" )   ln Pr(O | Yp )
O
R p ("bkg" )   ln Pr(B | Yp )
B
Yp
：色+テクスチャ特徴量
背景らしいほど
い値をもつ
高
T:”bkg”
14
t - linkの更新 (2)
Pr(Yp | O)
色 (RGB)
テクスチャ特徴 をＧＭＭ
事後確率
 ln Pr(O | Yp )
O
B
距離変換
一つ前の物体領域
Pr(O)
T
事前確率 （空間情報）
Pr(O) 
d obj
if d obj  d bkg
1  d bkg
otherwise
Pr(B) 1  Pr(O)
{p,T}間のt-linkへ使用
物体と背景の境界を0.5とし，境界から
の距離を用いて，事前確率を定義する．
15
t - linkの更新 (3)
Pr(Yp | B)
色 (RGB)
テクスチャ特徴 をＧＭＭ
事後確率
 ln Pr(B | Yp )
S
p
距離変換
一つ前の背景領域
Pr(B)
{p,S}間のt-linkへ使用
事前確率 （空間情報）
Pr(O) 
d obj
if d obj  d bkg
1  d bkg
otherwise
Pr(B) 1  Pr(O)
背景も同様に{p,S}間の全てのエッジに
重みを与える．
16
seed
LL: 平滑化画像
入
力
Haar Waveletによる
多重解像度解析
LL,LH,HL,HH
画像取得
(level k)
n-link
Graph Cuts
Segmentation
出
力
t-link
LH,HL,HH:テクスチャ特徴
事前確率
GMM(色+テクスチャ)の更新
k ← k-1
1. SeedとLevel kを与える．
5. 色＋テクスチャをGMMに適用
2. Level kまで多重解像度解析
6. 一段階前の結果から事前確率
3. 平滑化画像をn-linkに使用
7. Graph Cutsの処理を行う
4. 局所テクスチャ特徴を定義
8. k=0まで，2.～7.を繰り返す
17
Graph Cuts Segmentation
エッジに対する重み
S
O
B
T
以上のように全エッジに対して重み
を与え， ※ min-cut / max-flowアル
ゴリズムにより，グラフのカットを行
い，セグメンテーション画像を得る
Yuri Boykov and Vladimir Kolmogorov,
“An Experimental Comparison of Min-Cut/Max-Flow
Algorithms for Energy Minimization in Computer Vision”
 (I p  I q )2 
1

B{ p ,q}  exp 

2

 dist( p, q)
2



K  1  max  B{ p ,q}
pP
q:{ p , q}N
R p ("obj" )   ln P r(O | Yp )
R p ("bkg" )   ln P r(B | Yp )
18
実験条件
 評価方法として，
従来手法(1)
Graph Cuts
従来手法(2)
平滑化処理のみのGraph Cuts
提案手法
平滑化かつテクスチャ特徴を使ったGraph Cuts
 Berkley Image database(50枚)を使用 (HS画像あり)
 多重解像度解析はLevel 3まで実行
 以下の式から誤検出率err(%)を算出
 物体領域の誤検出画素数 背景領域の誤検出画素数 
err(%)  

 100
全画素数
全画素数


物体を背景と誤検出
背景を物体と誤検出
19
実験結果（1）
Err(%)
従来手法(1)
従来手法(2)
提案手法
4.05
2.42
1.57
 従来手法でも十分精度が出ている画像も含まれて
いるため，精度差が大きくでていない．
 従来手法でも誤検出率を約４％まで抑えている．
 比較的誤検出率が高かった画像について
20
実験結果（2）
平滑化と事前確率による効果
元画像+seed
従来手法(1)
従来手法(2)
提案手法
17.86%
4.42%
1.93%
9.96%
0.87%
0.57%
21
実験結果（3）
テクスチャ特徴量による効果
元画像+seed
従来手法(1)
従来手法(2)
提案手法
10.56%
7.45%
1.86%
11.26%
11.84%
10.54%
16.64%
4.77%
22
1.99%
実験結果（4）
テクスチャ変化の度合いが異なる画像に対する効果
元画像+seed
従来手法(1)
従来手法(2)
提案手法
23
考察


突発的なノイズの除去：従来手法(2), 提案手法
 事前確率
一つ前の処理結果から大まかな形情報を取得
 平滑化処理
局所的なエッジを乗り越えることが可能
色分布で区別が困難な画像：提案手法
テクスチャ変化の大きい画像
自然物画像などには効果が大きい．
 テクスチャ変化の小さい画像
人工物画像などにはあまり効果がない．

24
まとめ
 多重解像度解析により平滑化と局所テクスチャ特徴を用いた
繰り返しによるGraph Cutsを提案した．
 物体背景が類似色を持つ画像やテクスチャ変化の強い画像に
対して，従来のGraph Cutsより高精度な結果が得られた．
 従来のGraph Cutsで成功する画像に対しても，同精度セグ
メンテーション結果が得られた．
 テクスチャ特徴と色特徴どちらが有効か画像ごとに違うため
その差を考える．
25
ご静聴ありがとうございました．
26
Graph Cuts
エネルギー関数を最小とするようなラベル f を求める手法．
(エネルギー最小化問題)
E ( f )   Dp ( f p ) 
pP
領域に対するペナルティ
活用例
V
p ,qN
p ,q
( f p , fq )
近傍に対するペナルティ
 Image Segmentation
 Stereo
 Image Restoration
 Multi camera reconstruction
などで注目されている
ピクセルをノードとしたグラフを作成し，そのグラフの最小カットを
求めることで，物体と背景のセグメンテーションを行う．
27
処理時間について
画像サイズ：650×400
従来(1)
従来(2)
提案
10.92秒
62.96秒
87.22秒
画像サイズ：480×320
従来(1)
従来(2)
提案
8.04秒
36.77秒
55.43秒
Pentium® 4 CPU 3.20GHz
28
20
20
Min-cut 100
80
30
60
S
Min cut
60
T
グラフの最小
カットを求める
残余ネットワーク(1)
10
20
40
0
10
0
0
0
20
残余ネットワーク(2)
20
10
T
10
0
30
最大フロー(60)
40
最大フローと最小カットの値は等しい！
T
0
20
S
20
0
20
0
S
0
50
0
0
50
50
T
0
10
10
0
0
0
20
20
S
20
10
20
0
S
10
10
20
20
10
50
20
10
20
40
T
30
20
残余ネットワーク(3)
10
29
Min-cutの概念
Ｓ
つながりが強いほど
カットは通らない．
Ｔ
ＳからTへのコストが最も小さくなるようにカットする
30