複数特徴量の統合による 一般物体認識の検討
Download
Report
Transcript 複数特徴量の統合による 一般物体認識の検討
複数特徴量の重み付け統合による
一般物体認識
神戸大学大学院工学研究科情報知能学専攻
CS17 有木研究室
須賀 晃
研究背景
ハードディスクの大容量化
人手による大量の画像データの分類や検索が困難
web画像検索
テキスト検索ではなく,画像による検索
ロボットビジョン
計算機による物体の認知能力の実現
一般物体認識
www.***.com
一般物体認識(従来手法)
Bag-of-Features(BoF)
言語処理におけるBag-of-Words(BoW)のアナロジー
文書を単語の集合と捉える(語順無視)
画像を局所特徴の集合と捉える(位置無視)
www.***.com
課題点
SIFT特徴があまり取れない物体の認識率が低い(全く取れない物体は認識できな
い)
そもそも,人間はSIFT特徴を見て物体を認識しているわけではない
SIFTのような局所的な特徴以外に,色や形状などから総合的に判別している
ほぼ台形のような形で
タイヤ・ライトのような
共通特徴があるのが
車.色は様々.
局所情報・・・○
色情報・・・×
形状情報・・・○
丸くて赤いのがトマト.
局所特徴はあまり
ない.
局所情報・・・×
色情報・・・○
形状情報・・・○
カテゴリごとに重要視される特徴量は異なる(概念の違い)
複数特徴を用いて,各カテゴリごとに識別に重要な特徴量に重みをおきたい
www.***.com
提案手法
BoF(SIFT局所特徴)だけでなく,複数の特徴量を用いた認識
物体ごとの注目すべき特徴を予め特徴量の出現頻度から学
習し,カテゴリごとに識別に有効な特徴量を求める
学習はtf-idf,相互情報量,χ二乗値によって各特徴量の重
みとして用いる
学習した識別に有効な特徴量の認識スコアに重みを与え認
識結果を統合する
www.***.com
特徴量
BoF
局所特徴情報
局所特徴ベクトルを量子化し,visual wordのヒストグラムで表現
1000次元
Color
色特徴情報
画像をRGBヒストグラムで表現
768次元
HOG
形状特徴情報
画像をブロックごとの輝度勾配方向ヒストグラムで表現
63504次元
www.***.com
Histograms of Oriented Gradients (HOG)
一定領域に対する特徴量
大まかな形状を表現可能
一般物体認識に向いている
記述
ブロック数(画像サイズ300x300)
28x28=784
次元数
784x81=63504次元
www.***.com
TF-IDFによる重み学習
tf(特徴量の頻出度)とidf(逆頻出度)の2つの指標から,ある
カテゴリを認識する上で識別的な特徴量に対して大きな重み
を与える
tfidffc tffc idf fc
特徴量の重要度
c
HI
n1 f n
Nc
tf
c
f
idf fc log
Nc
D
d
識別的度合
Nc
DIM
n 1
i 1
f
minhi (n), hi (n )
N c DIM f
D:データ総数, d:HIがカテゴリc内の平均HI値θ以上の枚数
www.***.com
相互情報量による重み学習
特徴量とカテゴリ間の共起関係を尺度として,あるカテゴリに
共起度の高い特徴量に対して大きな重みを与える
I f , c H f H c H f , c log
N c DIM f minhi (n), hi (n )
c1 n1 i 1N DIM
c
f
P f
N c DIM f minhi (n), hi (n )
L
K
f 1 c1 n1 i 1N DIM
c
f
N c DIM f minhi (n), hi (n )
f 1 n1 i 1N DIM
c
f
P c
N c DIM f minhi (n), hi (n )
L
K
f 1 c1 n1 i 1N DIM
c
f
K
L
P f , c
P f , c
P f Pc
Nc
DIM
n 1
i 1
f
minhi (n), hi (n )
N c DIM f
N c DIM f minhi (n), hi (n )
f 1 c1 n1 i1N DIM
c
f
L
K
www.***.com
χ二乗値による重み学習
あるカテゴリにおいて,特徴量とカテゴリの関連性が強いほど,
その特徴量に大きな重みを与える
feature
!feature
2fc
category
!category
O fc
O fc
O fc
O fc
N (O fcO fc O fc O fc ) 2
(O fc O fc )(O fc O fc )(O fc O fc )(O fc O fc )
www.***.com
認識
SVM-Scoreの正規化
1
c
S f
1 exp(S cf )
重み付け統合による認識
c arg max f 1W fc S fc
L
c
www.***.com
実験
データセット
Caltech101
カテゴリ数
10種類, 3セット
学習データ
10枚/1カテゴリ
テストデータ
100枚
特徴量
BoF, Color, HOG
識別方法
SVM
Caltech101:http://www.vision.caltech.edu/Image_Datasets/Caltech101/Caltech101.html Fei-Fei et al. (2004)
www.***.com
実験結果
(従来手法)
(提案手法)
特徴量
BoF
BoF+Color+HOG
重み
無し
無し
TF-IDF
MI
Chi-square
Dataset A
42%
47%
66%
65%
60%
Dataset B
46%
48%
54%
57%
52%
Dataset C
51%
59%
60%
61%
56%
www.***.com
まとめと今後の方向
複数の特徴量を用いることで,SIFTだけではあまり認識出来なかった物体
に対しても,認識することができた
tf-idf,相互情報量,χ二乗値を用いてカテゴリの特徴的な特徴量に重み
付けを行うことで認識率が上がった
使用する特徴量(数・次元数)について検討する
重み付け手法の検討(CRF,Boosting)
www.***.com
ご静聴ありがとうございました。
www.***.com