Transcript 提案手法 - 神戸大学
複数特徴量の重み付け統合による一般物体認識 神戸大学大学院工学研究科情報知能学専攻 CS 17 情報メディア講座 有木研究室 須賀 晃 研究背景 近年，デジタルカメラの普及やハードディスクの大容量化によって，一般の個人が大 量にデジタル画像を蓄積することが可能となった 計算機が画像に写っている物を認識したり，画像の意味を理解したりすることができ ないため，現状では大量の画像データの分類や検索には人手の介入が不可欠 一般物体認識 研究内容 一般物体認識分野において，SIFT特徴をクラスタリングし，量子化したVisual Word のヒストグラムで画像を表現するBag-of-Featuresを用いた手法が一般に用いられる しかし，同一物体カテゴリ内のアピアランス変化の大きいものや，輝度変化が少ない （或いは多すぎるもの）に対してはSIFT特徴のみでは精度が悪いものも存在し，あら ゆる物体に対応できない 複数の特徴量を用いて，局所，色，形状情報などから総合的に認識する 各カテゴリごとに識別に有効な特徴量をTF-IDF，相互情報量，カイ二乗値の３つの 手法から学習 有効な特徴量のスコアに重みをつけて統合する 背景の影響を抑えるため，Saliency MapとGraph Cutsを用いて予め物体領域を 大まかに限定 Saliency Map 画像中の視覚的注意を引く領域を抽出する手法 一般的に画像中の物体は背景に比べて顕著性が高いと考えられる 内側領域R1と外側領域R2からなるフィルタを用意し， L*a*b色空間の特徴ベク トルの距離を用いてコントラストを測定 スケールサイズを変えながらラスタスキャンを行う 各スケールのMapを統合して最終的なSaliency Mapを作成する Graph Cuts 画像セグメンテーション手法 Saliency MapからSEEDを学習し，Graph Cutsを行う 一段階前の抽出結果を元に再学習し，繰り返し領域を修正 Object terminal S ln Pr( B | C p ) ln Pr( O | C p ) T Background terminal n-link ・・・境界情報 近傍画素との類似度を表し，類似し ている程高いコスト値を持つ t-link ・・・領域情報 物体と背景の色ヒストグラムを混合 ガウス分布モデルに適用．物体または 背景に近い程高いコスト値を持つ 与えられたコストを用いて，min cut/max flowアルゴリズムによって画 像のセグメンテーションを行う 局所特徴 Bag-of-Features(BoF) 言語処理におけるBag-of-Words(BoW)のアナロジー 文書を単語の集合と捉える（語順無視） 画像を局所特徴の集合と捉える（位置無視） 色特徴 Colorヒストグラム 画像を４×４のブロックに分割（図は２×２の場合） RGBをそれぞれ４つのbinに量子化し，６４次元のヒストグラムで表現 ４×４×６４＝１０２４次元の特徴ベクトル 形状特徴 HOG (Histograms of Oriented Gradients) SIFTと同様に局所輝度勾配を算出 一定領域に対して特徴量を記述 大まかな物体形状が表現可能 特徴量の重み付け TF-IDF TF（特徴量の頻出度）とIDF（逆頻出度）の２つの指標から，あるカテゴリを認識する 上で識別的な特徴量に対して大きな重みを与える c f tfidf tf f idf c 特徴量の重要度 tf c f idf Nc n 1 HI Nc c f log c f 識別的度合 c f n Nc DIM n 1 i 1 f min h i ( n ), h i ( n ) N c DIM f D d D:データ総数， d:HIがカテゴリc内の平均HI値θ以上の枚数 特徴量の重み付け 相互情報量 特徴量とカテゴリ間の共起関係を尺度として，あるカテゴリに共起度の高い特徴量に 対して大きな重みを与える I f , c H f H c H f , c log Nc DIM f min h i ( n ), h i ( n ) n 1 i 1 c 1 N c DIM f P f Nc DIM f L K n 1 i 1 min hi ( n ), hi ( n ) f 1 c 1 N c DIM f K Nc DIM n 1 i 1 f min h i ( n ), h i ( n ) N c DIM P f ,c f n 1 i 1 min hi ( n ), hi ( n ) f 1 c 1 N c DIM f Nc L K DIM f P f ,c P f P c Nc DIM f min h i ( n ), h i ( n ) n 1 i 1 f 1 N c DIM f P c Nc DIM f L K n 1 i 1 min hi ( n ), hi ( n ) f 1 c 1 N c DIM f L 特徴量の重み付け カイ二乗値 あるカテゴリにおいて，特徴量とカテゴリの関連性が強いほど，その特徴量に大きな 重みを与える category feature O fc O fc !feature O fc O fc fc 2 !category N ( O fc O f c O f c O f c ) 2 ( O fc O f c )( O fc O f c )( O f c O f c )( O f c O f c ) 提案システムの流れ Saliency MapをSEEDとして繰り返しGraph Cutsにより物体領域を抽出 限定された物体領域から特徴を抽出し，SVMによりスコアを算出 特徴重要度抽出法によって得られた各カテゴリの重みを加えてスコアを統合 実験 データセット Caltech101 カテゴリ数 101種類 学習データ 20枚×101カテゴリ テストデータ 10枚×101カテゴリ 特徴量 BoF, Color, HOG 識別方法 SVM Caltech101:http://www.vision.caltech.edu/Image_Datasets/Caltech101/Caltech101.html Fei-Fei et al. (2004) 実験結果 認識率 [%] 提案手法 特徴量 BoF+Color+HOG 重み - TF-IDF MI Chi セグメンテーションなし 49.1 53.3 52.8 51.5 Saliency + GC 51.3 58.1 57.8 56.6 60 58 56 54 52 50 48 46 44 normal saliency なし TF-IDF MI Chi まとめ 複数特徴量を用いて，各カテゴリごとに識別的な特徴に重みを付けて 統合する手法を提案した 重み付け統合することで線形的に統合した場合よりも認識精度が向上 した 背景の影響を防ぐため，Saliency + GCにより物体領域を大まかに限定 することにより，より正確な重みが得られ，認識精度も向上した 今後は，使用する特徴量を増やし，他の重み学習法との比較を行って いく予定である ご静聴ありがとうございました 以下質問用 Saliency Map + 繰り返しGraph Cuts 入力画像 Saliency Seed GC(1) GC(2) GC(3) 重みの大きかったカテゴリの例 各重み付け手法で，各特徴量の重みの割合が最も大きかったカテゴリ TF-IDF MI Chi BoF Joshua_tree Yin_yang Windsor_chair Color Strawberry Sunflower Sunflower HOG Motorbikes Motorbikes Dragonfly 実験結果 重み付けの効果 認識率 [%] 提案手法 特徴量 BoF Color HOG 重み - - - - TF-IDF MI Chi Normal 41.8 35.5 51.1 49.1 53.3 52.8 51.5 Saliency + GC 45.2 37.2 53.0 51.3 58.1 57.8 56.6 BoF+Color+HOG Caltech101 学習データ(chair20枚)