Transcript 複数特徴量の統合による 一般物体認識の検討

複数特徴量の重み付け統合による
一般物体認識
神戸大学大学院工学研究科情報知能学専攻
CS17 有木研究室
須賀 晃
研究背景
 ハードディスクの大容量化
 人手による大量の画像データの分類や検索が困難
 web画像検索
 テキスト検索ではなく，画像による検索
 ロボットビジョン
 計算機による物体の認知能力の実現
一般物体認識
www.***.com
一般物体認識(従来手法)
 Bag-of-Features(BoF)
 言語処理におけるBag-of-Words(BoW)のアナロジー
 文書を単語の集合と捉える（語順無視）
 画像を局所特徴の集合と捉える（位置無視）
www.***.com
課題点
 SIFT特徴があまり取れない物体の認識率が低い（全く取れない物体は認識できな
い）
 そもそも，人間はSIFT特徴を見て物体を認識しているわけではない
 SIFTのような局所的な特徴以外に，色や形状などから総合的に判別している
ほぼ台形のような形で
タイヤ・ライトのような
共通特徴があるのが
車．色は様々．
局所情報・・・○
色情報・・・×
形状情報・・・○
丸くて赤いのがトマト．
局所特徴はあまり
ない．
局所情報・・・×
色情報・・・○
形状情報・・・○
 カテゴリごとに重要視される特徴量は異なる（概念の違い）
 複数特徴を用いて，各カテゴリごとに識別に重要な特徴量に重みをおきたい
www.***.com
提案手法
 BoF(SIFT局所特徴)だけでなく，複数の特徴量を用いた認識
 物体ごとの注目すべき特徴を予め特徴量の出現頻度から学
習し，カテゴリごとに識別に有効な特徴量を求める
 学習はtf-idf，相互情報量，χ二乗値によって各特徴量の重
みとして用いる
 学習した識別に有効な特徴量の認識スコアに重みを与え認
識結果を統合する
www.***.com
特徴量
 BoF
 局所特徴情報
 局所特徴ベクトルを量子化し，visual wordのヒストグラムで表現
 1000次元
 Color
 色特徴情報
 画像をRGBヒストグラムで表現
 768次元
 HOG
 形状特徴情報
 画像をブロックごとの輝度勾配方向ヒストグラムで表現
 63504次元
www.***.com
Histograms of Oriented Gradients (HOG)
 一定領域に対する特徴量
 大まかな形状を表現可能
 一般物体認識に向いている
 記述
ブロック数(画像サイズ300x300)
28x28=784
次元数
784x81=63504次元
www.***.com
TF-IDFによる重み学習
 tf（特徴量の頻出度）とidf（逆頻出度）の２つの指標から，ある
カテゴリを認識する上で識別的な特徴量に対して大きな重み
を与える
tfidffc  tffc  idf fc
特徴量の重要度
c
HI
n1 f n
Nc
tf 
c
f
idf fc  log
Nc
D
d
識別的度合
 

Nc
DIM
n 1
i 1
f
minhi (n), hi (n ) 
N c  DIM f
D:データ総数， d:HIがカテゴリc内の平均HI値θ以上の枚数
www.***.com
相互情報量による重み学習
 特徴量とカテゴリ間の共起関係を尺度として，あるカテゴリに
共起度の高い特徴量に対して大きな重みを与える
I  f , c   H  f   H c   H  f , c   log
  N c DIM f minhi (n), hi (n ) 

c1  n1 i 1N  DIM

c
f

P f  
  N c DIM f minhi (n), hi (n ) 
L
K

 f 1 c1  n1 i 1N  DIM

c
f

  N c  DIM f minhi (n), hi (n )  

 f 1  n1 i 1N  DIM

c
f

P c  
  N c  DIM f minhi (n), hi (n )  
L
K

 f 1 c1  n1 i 1N  DIM

c
f

K
L
 
P f , c  
P f , c 
P f Pc 
Nc
DIM
n 1
i 1
f
minhi (n), hi (n ) 
N c  DIM f
 N c DIM f minhi (n), hi (n ) 

 f 1 c1  n1 i1N  DIM

c
f

L
K
www.***.com
χ二乗値による重み学習
 あるカテゴリにおいて，特徴量とカテゴリの関連性が強いほど，
その特徴量に大きな重みを与える
feature
!feature
 2fc 
category
!category
O fc
O fc
O fc
O fc
N (O fcO fc  O fc O fc ) 2
(O fc  O fc )(O fc  O fc )(O fc  O fc )(O fc  O fc )
www.***.com
認識
 SVM-Scoreの正規化
1
c
S f 
1  exp(S cf )
 重み付け統合による認識
c  arg max f 1W fc  S fc
L
c
www.***.com
実験
データセット
Caltech101
カテゴリ数
10種類, 3セット
学習データ
10枚/1カテゴリ
テストデータ
100枚
特徴量
BoF, Color, HOG
識別方法
SVM
Caltech101:http://www.vision.caltech.edu/Image_Datasets/Caltech101/Caltech101.html Fei-Fei et al. (2004)
www.***.com
実験結果
（従来手法）
（提案手法）
特徴量
BoF
BoF+Color+HOG
重み
無し
無し
TF-IDF
MI
Chi-square
Dataset A
42%
47%
66%
65%
60%
Dataset B
46%
48%
54%
57%
52%
Dataset C
51%
59%
60%
61%
56%
www.***.com
まとめと今後の方向
 複数の特徴量を用いることで，SIFTだけではあまり認識出来なかった物体
に対しても，認識することができた
 tf-idf，相互情報量，χ二乗値を用いてカテゴリの特徴的な特徴量に重み
付けを行うことで認識率が上がった
 使用する特徴量（数・次元数）について検討する
 重み付け手法の検討（CRF，Boosting）
www.***.com
ご静聴ありがとうございました。
www.***.com