Transcript 対応点探索による画像マッチング

CV輪講
姿勢変化に対応したSoft Decision Featureと
Online Real Boostingによる人物追跡
安藤 寛哲
はじめに

Online Boosting
−
−
−

ブースティング手法をオンラインでの物体追跡に拡張
追跡対象に合わせて適した弱識別器の選択が可能
オフラインで得られた弱識別器が最適な特徴量であるとは
限らない
Soft Decision Feature
−
弱識別器の特徴量をオンラインで最適化する手法
体の向き変化や姿勢変動が生じる場合でも追跡が可能
Online Boosting

Online Real Boosting
−
Real AdaBoostを用いた学習

−
−
弱識別器の重みを追跡対象に合わせて更新
弱識別器をセレクタに分割

−
少ない弱識別器で高い追跡性能
追跡性能の低下を防止
弱識別器が確立密度関数を持つ

追跡物体の向きや照明状態の変化に強い
Online Real Boostingの流れ

Online Real Boosting概要
−
オフライン


−
Real AdaBoostを用いて強識別器を学習
弱識別器を複数のセレクタに分割
オンライン




確率密度関数の更新
セレクタ内で弱識別器を選択
選択された弱識別器を統合
強識別器の作成
Online Real Boostingのフレームワーク
Soft Decision Feature

追跡対象に合わせて適応的に変化させる
位置，大きさ，形状を変化


最も尤度の高い特徴量を算出できる
特徴量のベース
−
EHOG [Hou et al. ACCV ‘07]

−
局所的な領域の勾配変化
Edgelet [Wu et al. ICCV ‘05]

部分的なエッジの類似度
EHOG（1/2）



HOGを高速化した特徴量
ブロック内にセルを持たない
局所的な領域の勾配変化
F (D)   gb (i) / Zb
iD
B
Zb   gb (i)
b1
gb (i) ：勾配方向b={1,…,n,
n=9}のヒストグラム
Zb ：全勾配方向にヒストグラムの総和
EHOG（2/2）
Edgelet


エッジの直線、円弧、対称性に着目した特徴量
部分的なエッジの類似度

1K I
S ( x)    E (ui )  I V I (ui )  Vi E
 K  i 1
x0
1
0.8 x  1,5

I 
 
0.5 x  2,4
0
x  3
E I (ui ) ：位置uiにおけるエッジ強度
V I (ui )：位置uiにおける勾配方向
K ：参照する位置の個数

Edgelet


エッジの直線、円弧、対称性に着目した特徴量
部分的なエッジ方向とエッジ強度捉える

1K I
S (w)    M (ui  w)  I V I (ui  w)  Vi E
 K  i 1
x0
1
0.8
x  1,5

I 
 
x  2,4
0.5

0
x  3
w ：注目領域 
Vi E ：特徴量パターンの勾配
E I (ui ) ：位置uiにおけるエッジ強度
V I (ui ) ：位置uiにおける勾配方向
K ：連結数

量子化した角度
Edgeletの特徴量パターン
弱識別器の変形

特徴量Forgを変形関数Ｔ により変化

変形関数Ｔ(・)は特徴量の種類により異なる
−
EHOG

変形パラメータ
位置(x,y)，サイズ(w,h)，勾配方向(g)
EHOG
EHOG
Ftars
 Forg
*T ( x, y, w, h, g)
−
Edelet

変形パラメータ
移動量(x,y)，勾配の変化量(g),要素(uk)
Edelet
Edelet
Ftrans
 Forg
(u1 *T ( x, y, g )),...,(uk *T ( x, y, g ))
Soft Decision Feature の概要
提案手法


Online Real Boosting
Soft Decision Feature
−
オフライン学習

−
弱識別器と変化可能な形状を同時に学習
オンライン学習

オフラインで得られた弱識別器を形状変化させる
提案手法のフレームワーク
オフライン学習
1.学習サンプルの初期化
2.弱識別器候補の評価値の算出
・確率密度関数の作成
・弱識別器の変形 → 確率密度関数の更新
・二つの確率密度関数の類似度を用いて結合
・評価値の算出
3.弱識別器候補の選択
4.識別器とエラー率の算出
5.重みの更新
6.強識別器の作成
オンライン学習
1.弱式別器をＮ個セレクタに分割
2.現時刻の学習サンプルの重みを初期化
3.分割されたセレクタから弱識別器の選択
・弱識別器の確率密度関数の更新
・弱識別器の評価値を算出
・Soft Decision Featureの選択
・Soft Decision Feature の弱識別器最適化
- 弱識別器の変形 → 確率密度関数の更新
- 評価値の算出
・弱識別器の選択
4.強識別器の作成
追跡結果の比較例
（a）直立（正面）
（b）直立（横）
（c）座り込み
（d）直立（横）
（e）直立（正面）
Soft Decision Feature による追跡結果例
（a）直立（正面）
（b）直立（横）
（c）座り込み
（d）直立（横）
Hard Decision Feature による追跡結果例
（e）直立（正面）
姿勢変化に対する追跡
(a)ものを拾うシーンにおける追跡結果例
(b)走り出すシーンにおける追跡結果例
選択された特徴量の比較
（a）
（b）
（c）
(a) Soft Decision Feature による座り込み時の追跡結果
(b) 座り込み時に選択された人体合成モデル
(c) Hard Decision Feature による座り込み時の追跡結果
(d)座り込み時に選択された人体合成モデル
（d）
おわりに
・Online Real BoostingとSoft Decision Feature について報告