Transcript Fast Approximated SIFT

決定木を用いたキーポイントの
分類による対応点マッチング
西村 孝
はじめに

リアルタイムでテンプレートとの対応点マッチング
Pose Tracking from Natural Features on Mobile Phones，ISMAR2008
Fast Keypoint Recognition using Random Ferns，PAMI 2009
Fast Keypoint Recognition in Ten Lines of Code，CVPR 2007
Keypoint Recognition using Randomized Trees， PAMI 2006
Keypoint Recognition using Randomized Trees

決定木を用いたキーポイントの分類

学習





テンプレートをアフィン変換して学習画像を作成
学習画像すべてからキーポイントを検出
キーポイントを中心とした32×32のパッチを作成
決定木の構築
分類によるマッチング



入力画像からキーポイント検出
キーポイントを中心とした32×32のパッチを作成
決定木によりキーポイントをマッチング
キーポイント検出

キーポイント候補点の検出




スケールを半径とした円上の輝度値の最大を探索


注目画素のLoGの応答値が近傍で最大となる点を検出
LoGによりスケール探索
計算コストを削減したLoGの近似を利用
オリエンテーション
キーポイントの判定

輝度の変化が少ない点を削除
キーポイント候補点の検出


ノイズの影響を抑制するため入力画像を平滑化( )
注目画素のLoGの応答値が近傍で最大

キーポイントの候補点として検出
LoGの近似
：平滑化画像のピクセル座標
近似LoG応答値
キーポイントのスケール探索
50
半径R [pixel]
極大位置→キーポイントのスケール
100
キーポイントのオリエンテーション
注目画像とスケール上（赤円）のピクセルの差が最大となる角度を探索
：平滑化画像のピクセル座標
キーポイント判定
3点のピクセルを用いて下記の条件を満たすキーポイント候補点は削除
：平滑化画像のピクセル座標
学習画像

テンプレート画像をアフィン変換



ランダムなパラメータでアフィン変換行列を作成
画像にノイズを含ませる
例）10000枚
アフィン変換に頑健なキーポイント選択

学習画像すべてからキーポイントを抽出
逆行列によりテンプレート上の対応するキーポイント算出
 同一位置のキーポイント数をカウント
 多くの画像から検出されたキーポイントを検出（例：200）
→ノイズおよびひずみに安定したキーポイントを選択

キーポイントの検出例
決定木の構築
1.キーポイントを中心とした32×32のパッチを作成

スケール値によりパッチサイズを正規化
2.学習データをランダムでサブセット（例：32）に分ける
3.それぞれのサブセット毎に決定木を構築
決定木の構築
1.キーポイントを中心とした32×32のパッチを作成

スケール値によりパッチサイズを正規化
2.学習データをランダムでサブセット（例：32）に分ける
3.それぞれのサブセット毎に決定木を構築
20
32
32
20
スケール：10
正規化
決定木の構築
1.キーポイントを中心とした32×32のパッチを作成

スケール値によりパッチサイズを正規化
2.学習データをランダムでサブセット（例：32）に分ける
3.それぞれのサブセット毎に決定木を構築
サブセット
trees
決定木



ノードには分岐条件の特徴量を収納
リーフノードにはキーポイントの確率分布を格納
ノードの階層の深さは事前に決定（例：15）
ノードの特徴量
ノードの分岐条件（2点のピクセルの輝度レベルの比較）
キーポイントのマッチング
1.キーポイントの検出

キーポイントを中心としたパッチを作成
2.キーポイントの分類

決定木を用いて入力画像のキーポイントをマッチング
3.分類の判定

分類結果が正しいか閾値により判定
キーポイント検出


入力画像からキーポイントの検出
各キーポイントから32×32のパッチを作成

スケール値によりパッチサイズを正規化
50
32
32
50
スケール：25
正規化
キーポイントの分類

クラスcの確率分布
の平均を求める
入力パッチ
（
Average
＋
＋
）
＝
分類の判定

リジェクト


背景上のキーポイント
分類失敗の可能性の高いキーポイント
Tc：しきい値
Pc：クラスｃの事後確率の平均

マッチングスコアによる評価
ｓは0.6～0.9を用いる
Tc：しきい値
Ｓ：信頼度
ノードテスト（2ピクセルを用いた手法）

特徴量
m：ピクセル
P：パッチ
Iσ：平滑化後の画像
ノードテスト（4ピクセルを用いた手法）

特徴量
m：ピクセル
P：パッチ
Iσ：平滑化後の画像
ノードテスト（SIFT特徴量を用いた手法）

特徴量
u,v：4×4の領域の座標
o：勾配方向
o1
o1 o2
o2
o1
o2
特徴量の評価（C2の結果）

実験データ

C2の結果
本のタイトルから抽出したキーポイント100個→Title
本の絵(目)から抽出したキーポイント100個→Eyes
決定木の数と階層が多いほど精度が良い
特徴量の評価（C4の結果）

C4の結果
C2と同様に，決定木の数と階層が多いほど精度が良い
特徴量の評価（Cｈの結果）

Cｈの結果
C2,C4と同様に，決定木の数と階層が多いほど精度が良い
特徴量の評価（Title：階層15）

階層15のときのTitleの結果
Ch，C2，C4の順に精度が良い
特徴量の評価（Eyes：階層15）

階層15のときのEyesの結果
ChとC2は互角でC4は最も悪い
特徴量の評価（まとめ）
C2
C4
Ch
Title set
depth10
depth12
depth15
60.7%
69.2%
77.0%
57.7%
65.1%
73.7%
66.6%
75.0%
82.4%
Eyes set
depth10
depth12
depth15
72.7%
78.6%
84.7%
70.0%
76.1%
81.4%
74.5%
84.2%
84.2%
C4はC2より精度は悪い
CｈはC2より良いが計算コストが高い
→精度も良く計算コストが小さいC2を選択
評価実験：対応点マッチング

テンプレート（猫のマウスパッド）と入力画像の
マッチング
テンプレート
入力画像
結果：マッチング（SIFT）
対応点数：18
正解点数： 5
結果：マッチング（SURF）
対応点数：25
正解点数：13
結果：マッチング（ Randomized Trees ）
対応点数：38
正解点数：38
結果：マッチング（ Randomized Trees ）
おわりに

アフィン変換した画像からキーポイント検出


アフィン変換に頑健なキーポイントを選択
決定木による対応点マッチング

回転，スケール変化に頑健で高速なマッチング