Transcript 類似度の算出

CV-Reading
Appearance-based Keypoint Clustering
伊原有仁
1
はじめに
 Appearance-based Keypoint Clustering
– F.J.Estrada, P.Fua, V.Lepetit, and S.Ausstrunk
– CVPR2009
– キーポイントのクラスタリング
• 特徴の類似度算出法
• セグメンテーションの問題をキーポイントの
クラスタリングへ展開
2
Movie
3
提案手法の流れ
１：入力画像から特徴点検出
２：特徴点を中心とした各パッチから色と
テクスチャ特徴の抽出
３：類似度の算出と空間射影(spectral embedding)
４：Mean-shiftによるクラスタリング
4
特徴量：色情報
 カラーヒストグラム
– RGB色空間
5
特徴量：テクスチャ情報
 共分散行列ベース
ここで
パッチ内のピクセルjに対する１次微分，２次微分
：平均ベクトル
：パッチ内のピクセル数
6
提案手法の流れ
１：入力画像から特徴点検出
２：特徴点を中心とした各パッチから色と
テクスチャ特徴の抽出
３：類似度の算出と空間射影(spectral embedding)
４：Mean-shiftによるクラスタリング
7
類似度の算出
 カラー情報の類似度算出
：カラーヒストグラムの距離
：平均ベクトル
 テクスチャ情報の類似度算出
– パッチ間の固有値の和
8
類似度の評価
 カラー情報とテクスチャ情報の組み合わせ
：パッチ間のユークリッド距離
：重み
9
パラメータ設定
 設定パラメータ
– 重みσ:0.3
– カラーヒストグラムのビン数:15
– パッチサイズ:11x11
F値によって設定
Pは適合率，rは再現率
Fが最大となるパラメータ
10
クラスタリング
 空間射影(Spectral embedding)＊付録参照
– 類似度
を使用しグラフを作成
– 同じクラスタに属する要素の類似度を強調
• PCAのようなもの
 Mean-shift
11
クラスタリング実験
 Ncuts(Normalized cuts)との比較
– グラフに基づいたクラスタリングアルゴリズム
– Spectral embeddingと関連
 BSD(Berkely Segmentation Database)
– 250枚
12
クラスタリング結果1
 提案手法：0.6613の正解率
 Ncuts：0.5279の正解率
13
クラスタリング結果2
 正解率の差によってソート
提案手法では，250枚の画像に対し，200枚以上，正解率が高い
14
トラッキングへの展開1
 物体にキーポイントが少ない場合
– (a):SIFT,(b):提案手法を用いたSIFT
15
トラッキングへの展開2
 非剛体に対するトラッキング
– (a):SIFT,(b):クラスタリング,(c):提案手法を用いたSIFT
16
照明と視点変化
 (a):SIFT,(b):提案手法を用いたSIFT
17
おわりに
 Appearance-based Keypoint Clustering
– キーポイントの安定したクラスタリング
• 色とテクスチャを用いたパッチ間の類似度算出法
• Spectral embeddingとmean-shift
– 制約のない環境下における高精度なマッチング
18