Transcript 各次元MKL + 背景除去 - CS17 Ariki Laboratory, Kobe University

MIRU 2010
物体領域特徴の自動選定とマルチカーネル学習を用いた
特徴統合による一般物体認識
神戸大学大学院 工学研究科 情報知能学専攻
◎中鹿 亘, 須賀 晃, 滝口 哲也, 有木 康雄
CS17 Media Laboratory, Kobe University
研究背景

自動での画像分類・検索技術の期待



WWW上の画像の爆発的な増大
ハードディスクの大容量化
計算機と人間のセマンティックギャップの解消

計算機は人間のような画像中の一般物体の認識が困難
計算機の一般物体認識
猫？
能力向上が必要
CS17 Media Laboratory, Kobe University
研究内容

一般物体認識


Bag-of-Features（局所特徴ヒストグラム）を用いた手法が主流
近年では，特徴統合による手法が注目を集めている
方向
色
形状
局所
周期

従来研究における問題点


背景ノイズの影響 ⇒ 重みそのものに誤りが生じる
特徴量単位の重み学習 ⇒ 次元ごとの識別性を考慮できない
CS17 Media Laboratory, Kobe University
提案手法
①
最適な重み学習のための自動背景除去
Saliency
Map
視覚注意領域画像
入力画像
②
特
徴
抽
出
Graph
Cuts
出力画像
次元ごとのMultiple Kernel Learningによる重み学習
形状
局所
色
より“正確”で“詳細”な重み付け統合
CS17 Media Laboratory, Kobe University
提案システム
入力
画像
注目領域
検出
Saliency Map
セグメン
テーション
Graph Cuts
学習
画像
特徴抽出
BoF
Color
Gabor
識別
特徴統合
MKL
SVM
結果
出力
+
境界学習
SVM
背景除去
CS17 Media Laboratory, Kobe University
背景除去 : Saliency Map + Graph Cuts

Saliency MapとGraph Cutsを組み合わせることで，画像中の注目領域の自動セ
グメンテーションを行う
Saliency Map
・・・顕著性のある領域（視覚注意を引く領域）を抽出
・・・画像セグメンテーション
Object terminal
Graph Cuts
min cut
色特徴（RGB） : Cp
S
GMM
物体コスト（t-link）
 ln Pr( B | C p )
近傍類似コスト（n-link）
B{ p , q }
背景コスト（t-link）
 ln Pr( O | C p )
スケールサイズを変え
ながらラスタスキャン
色特徴（RGB） : Cp
GMM
T
Background terminal
注目領域抽出
画像セグメンテーション
CS17 Media Laboratory, Kobe University
背景除去 : Saliency Map + Graph Cuts

概要： Saliency MapをSeedsとした多重解像度解析によるGraph Cuts
視覚注意領域抽出
Saliency Map
seeds
入力
多重解像度解析
LL,HL
LH,HH
LL: 平滑化画像
n-link
bkg
Graph Cuts
Segmentation
再学習
t-link
HL,LH,HH:
局所テクスチャ
出力
事前確率
GMM(色+テクスチャ)更新
t ← t-1
解像度レベルの更新
CS17 Media Laboratory, Kobe University
提案システム
入力
画像
注目領域
検出
Saliency Map
セグメン
テーション
Graph Cuts
学習
画像
特徴抽出
BoF
Color
Gabor
識別
特徴統合
MKL
SVM
結果
出力
+
境界学習
SVM
背景除去
CS17 Media Laboratory, Kobe University
特徴抽出

Bag-of-Features （局所輝度勾配特徴）
DoG
Grid
[次元数]＝visual word数＝1000次元

Color Features （色特徴）
[次元数]＝64次元×9ブロック＝576次元

Gabor Features （濃淡周期・方向特徴）
[次元数]＝6方向×4周期×9ブロック＝216次元
CS17 Media Laboratory, Kobe University
提案システム
入力
画像
注目領域
検出
Saliency Map
セグメン
テーション
Graph Cuts
学習
画像
特徴抽出
BoF
Color
Gabor
識別
特徴統合
MKL
SVM
結果
出力
+
境界学習
SVM
背景除去
CS17 Media Laboratory, Kobe University
特徴統合

Multiple Kernel Learningによる特徴統合



複数のサブカーネルを線形統合し，新たなカーネルを求める手法
カーネルの線形統合を画像特徴の統合として用いる
各次元ごとにカーネルを用意し，最適なカーネル重みを求める
k ( x , xi )
 1 k1 ( x , x i )   2 k 2 ( x , x i )     K k K ( x , x i )
 ( x ),  ( x i )
CS17 Media Laboratory, Kobe University
特徴統合

Single Kernel Learning
f ( x)  w,  ( x)  b
n
f ( x) 
  i yi
 ( x ),  ( x i )  b
i 1
K ( x , xi )

Multiple Kernel Learning
K
f ( x) 

k 1
K
f ( x) 
wk ,  k ( x )  b
n
  k   i yi
k 1
 k ( x ),  k ( x i )  b
i 1
K k ( x , xi )
CS17 Media Laboratory, Kobe University
特徴統合 : Multiple Kernel Learning

MKL-SVM 主問題
Min-Max問題

MKL-SVM 双対問題
1. βkを均等重みに初期化
2. βkを固定し，統合カーネルを単一カーネ
ルとしてSVM学習を行いαiを求める
K
3. αiを固定し， k 1  k S k ( ) が増加するよう
にβkを求める
CS17 Media Laboratory, Kobe University
提案システム
入力
画像
注目領域
検出
Saliency Map
セグメン
テーション
Graph Cuts
学習
画像
特徴抽出
BoF
Color
Gabor
識別
特徴統合
MKL
SVM
結果
出力
+
境界学習
SVM
背景除去
CS17 Media Laboratory, Kobe University
物体クラスの識別

Support Vector Machine (SVM) による識別

One-Versus-Rest法
あるクラスを正，それ以外のクラスを負として2クラスの識別器を作成
 各物体クラスについて学習


テストデータの分類
全識別器にテストデータを入力
 スコアの最も高いクラスを識別結果として出力

CS17 Media Laboratory, Kobe University
予備実験: セグメンテーション精度評価

使用データベース： GrabCut Segmentation Database

画像枚数： 50枚

評価方法： 誤検出率




Over segmentation rate = 物体領域の誤検出ピクセル数/全ピクセル数
Under segmentation rate = 背景領域の誤検出ピクセル数/全ピクセル数
Error rate = (Over segmentation + Under segmentation)
実験内容：


Saliency MapをSeedsとした多重解像度解析による繰り返しGraph Cuts
セグメンテーション比較実験：


Saliency Cut [Yu Fu, Jian Cheng, Zhenglong Li, Hanqing Lu, 2008]
Saliency Map + 多重解像度解析Graph Cuts
従来手法
提案手法
http://research.microsoft.com/en-us/um/cambridge/projects/visionimagevideoediting/segmentation/grabcut.htm
CS17 Media Laboratory, Kobe University
実験結果1

多重解像度レベルによるエラー率の推移
LV.1
LV.2
LV.3
LV.4
LV.5
LV.6
OSR
10.78%
6.04%
4.37%
4.35%
4.31%
4.31%
USR
14.47%
9.27%
6.47%
6.71%
6.64%
6.77%
ERR
25.25%
15.31%
10.84%
11.06%
10.95%
11.08%
セグメンテーション結果
OSR ・・・ 物体領域の誤検出率
USR ・・・ 背景領域の誤検出率
ERR ・・・ 全体の誤検出率
入力画像
正解マスク
CS17 Media Laboratory, Kobe University
実験結果2

従来手法と提案手法のエラー率の比較
CS17 Media Laboratory, Kobe University
実験結果3

繰り返しセグメンテーションの例
CS17 Media Laboratory, Kobe University
評価実験: 分類精度評価

使用データベース： Caltech101

物体クラス数: 101種類

学習データ： 30枚/クラス

使用特徴量： BoF(DoG), BoF(Grid), Color, Gabor

識別器： MKL-SVM

評価方法： 平均分類率 (Confusion Matrix)

実験内容：




通常のMKL
通常のMKL + 背景除去
各次元ごとのMKL
各次元ごとのMKL + 背景除去
従来手法
提案手法
Caltech101:http://www.vision.caltech.edu/Image_Datasets/Caltech101/Caltech101.html Fei-Fei et al. (2004)
CS17 Media Laboratory, Kobe University
実験結果1
学習枚数
(a)
MKL
(b)
各次元MKL
(c)
MKL+背景除去
(d)
各次元MKL+背景除去
10枚
59.1%
61.6%
61.9%
64.2%
20枚
66.2%
67.9%
68.4%
72.3%
30枚
68.7%
69.9%
72.5%
76.4%
背景除去の効果
各次元の効果
80
76.4
72.3
平均分類率(%)
75
70
65
60
相乗効果
59.1
61.6 61.9
64.2
66.2
67.9 68.4
68.7 69.9
72.5
55
50
45
40
a
b
c
学習10枚
d
a
b
c
学習20枚
d
a
b
c
d
学習30枚
CS17 Media Laboratory, Kobe University
実験結果2
 Confusion Matrix
横軸 – テストデータ
縦軸 – 分類されたクラス
各次元MKL + 背景除去
平均分類率： 76.4%
CS17 Media Laboratory, Kobe University
結論

まとめ




Saliency MapをSeedsとしたGraph Cutsによる自動背景除去手法
を提案し，特徴統合の重みの精度が向上した
各次元のMultiple Kernel Learningによる詳細な特徴統合手法を
提案
背景除去と併せて，相乗的な識別性能の向上を確認
今後の課題


セグメンテーション精度，識別精度の向上
複数物体のセグメンテーション・識別への応用
CS17 Media Laboratory, Kobe University
ご清聴ありがとうございました
CS17 Media Laboratory, Kobe University
発表論文

全国大会





国際会議


須賀晃，福田恵太，滝口哲也，有木康雄: “SIFTとGraph Cutsを用いた物体認識及びセグメン
テーション”, 電子情報通信学会総合大会，IEICE2008，D-12-122，p.253，2008-03
須賀晃，福田恵太，滝口哲也，有木康雄: “SIFTとGraph Cuts を用いた物体認識及びセグメン
テーション”, 情報処理学会平成20年度関西支部大会，C2-08，pp.181-182，2008-10 （学生賞受
賞）
須賀晃, 滝口哲也, 有木康雄: “複数特徴量の重み付け統合による一般物体認識”,
電子情報通信学会総合大会，IEICE2009，D-12-76，p.185，2009-03
須賀晃, 滝口哲也, 有木康雄: “複数特徴量の重み付け統合による一般物体認識”,情報処理学
会平成21年度関西支部大会，C-03，CD-ROM，2009-09
Akira Suga, Keita Fukuda, Tetsuya Takiguchi, Yasuo Ariki:
“Object Recognition and Segmentation Using SIFT and Graph Cuts”,
Proc. of 19th Int'l Conf. on Pattern recognition (ICPR08), CD-ROM, 2008-12
研究報告


須賀晃, 福田恵太, 滝口哲也, 有木康雄: “SIFTとGraph Cuts を用いた物体認識及びセグメン
テーション”, 画像の認識・理解シンポジウム, MIRU2008, IS2-3, pp.611-616, 2008-07
須賀晃，滝口哲也，有木康雄: “複数特徴量の重み付け統合による一般物体認識”,画像の認
識・理解シンポジウム, MIRU2009, IS1-29, pp.589-594, 2009-07
CS17 Media Laboratory, Kobe University
CS17 Media Laboratory, Kobe University
以下，質問用スライド
CS17 Media Laboratory, Kobe University
背景除去

Saliency Map
CS17 Media Laboratory, Kobe University
Graph Cuts Segmentation
1. グラフの作成
n-link
・・・境界情報
近傍画素との類似度を表し，類似している
程高いコスト値を持つ
t-link
・・・領域情報
物体と背景の色ヒストグラムを混合ガウス
分布モデルに適用．物体または背景に近い
程高いコスト値を持つ
2. セグメンテーション
与えられたコストを用いて，min cut/max
flowアルゴリズムによって画像のセグメン
テーションを行う
CS17 Media Laboratory, Kobe University
繰り返し処理
Pr(Yp|B)
物体コスト
Color (RGB) :Cp
GMM
Local texture:Tp
－ln Pr(B|Yp)
S:”obj”
距離変換
背景
Pr(B)
p
Pr(Yp|O)
Color (RGB) :Cp
Local texture:Tp
GMM
－ln Pr(O|Yp)
距離変換
物体
T:”bkg”
背景コスト
Pr(O)
CS17 Media Laboratory, Kobe University
Kernel Learning

Single Kernel Learning

Multiple Kernel Learning
CS17 Media Laboratory, Kobe University
特徴統合

Semi-Infinite Linear Program (SILP)
CS17 Media Laboratory, Kobe University
実験結果X
CS17 Media Laboratory, Kobe University
実験結果X

失敗例

原因

誤検出領域を再学習したことによって，誤検出領域が拡大したため
CS17 Media Laboratory, Kobe University
実験結果X

単体特徴量による分類結果
特徴量
平均分類率
Bag-of-Features(DoG)
47.3%
Bag-of-Features(Grid)
51.2%
Color Features
38.5%
Gabor Features
40.5%
Multiple Kernel Learning
68.7%
提案手法
76.4%
学習画像枚数： 30枚
CS17 Media Laboratory, Kobe University
実験結果X

学習枚数による分類率の変化
90
80
76.4
72.3
68.7
66.2
70
59.1
60
50
64.2
46.747.3
44.1
51.2
48.6
45.3
40
36.938.5
33.3
3940.5
34.9
Color
Gabor
10
20
30
30
20
10
0
BoF-DoG
BoF-Grid
MKL
提案手法
CS17 Media Laboratory, Kobe University
実験結果X

Recall BEST 5 and WORST 5
BEST 5
Class
Recall
WORST 5
Class
Recall
1
Pagoda
1.000
1
Anchor
0.194
1
Sunflower
1.000
1
Cup
0.194
1
Inline skate
1.000
3
Cannon
0.226
4
Leopards
0.968
4
Okapi
0.258
4
Laptop
0.968
5
Stapler
0.290
CS17 Media Laboratory, Kobe University
実験結果X

Precision BEST 5 and WORST 5
BEST 5
Class
Precision
WORST 5
Class
Precision
1
Grand piano
0.945
1
Anchor
0.129
2
Inline skate
0.934
2
Cannon
0.132
2
Mandolin
0.934
3
Camera
0.209
4
Chandelier
0.933
4
Cougar body
0.210
5
Mayfly
0.924
5
Cup
0.223
CS17 Media Laboratory, Kobe University
実験結果X

F-value BEST 5 and WORST 5
BEST 5
Class
F-value
WORST 5
Class
F-value
1
Inline skate
0.9659
1
Anchor
0.1598
2
Mayfly
0.9512
2
Cannon
0.1728
3
Beaver
0.9417
3
Cup
0.2163
4
Windsor chair
0.9411
4
Okapi
0.2614
5
Mandolin
0.9345
5
Camera
0.2745
CS17 Media Laboratory, Kobe University
実験結果X

F値ワースト3クラスの学習画像例
CS17 Media Laboratory, Kobe University
実験結果X

繰り返しGraph Cutsの例 (Caltech 101 Datebase)
入力画像
Saliency Seed
GC(1)
GC(2)
GC(3)
CS17 Media Laboratory, Kobe University