Transcript オクルージョン推定

Bi-directional Tracking using
Trajectory Segment Analysis
篠木雄大
概要

問題提起
–
–
–
sudden motion (突発的な動き)，
ambiguity (不安定な動き)，
occlusion (重なり)
構成

オブジェクトの状態
ˆ , shˆ}
R  { p, sw
p
s
w
h
四角形の中心
スケール
オブジェクトの幅
オブジェクトの高さ
x  { p, s}
構成

注目点の表現
–
カラーヒストグラム
h  {h1,, hH }
–
Bhattacharyya距離
B
B2[h( x0 ), h( xi )]  1  hj ( x0 )hj ( xi )
j 1
構成

軌跡の最適化
–
事後確率
T 1
1 T 1
P( X | Y , x1 , xT )   ( yi | xi , x1 , xT ) ( xi | xi 1 )
Z i 2
i 1
X  {x2 ,, xT 1} オブジェクトの状態
Y  { y1 ,, yT } シーケンス
 ( yi | xi , x1, xT ) ~ exp(min{B2[h(xi ),h(x1)], B2[h(xi ),h(xT )]}/ 2 h2 )
 h2 分散パラメータ
 ( xi | xi1 ) ~ exp(D[ xi , xi1 ] /  p2 )
D[ xi , xi 1 ]  pi  pi 1   si  si 1
2
 p 分散パラメータ
ポテンシャル関数
2
構成



部分軌跡解析
オクルージョン推定
軌跡最適化
部分軌跡解析


2D mode extraction
3D trajectory segment extraction
2D mode extraction

Bhattacharyya距離を用いる
 ( yi | xi , x1, xT ) ~ exp(min{B2[h(xi ),h(x1)], B2[h(xi ),h(xT )]}/ 2 h2 )

Mean-shiftを用いて探索
3D trajectory segment extraction
3次元に書き換え
mn  [ pn , tn ]
M  {mn }nN1
Spectral clustering
pn
tn
空間情報（位置座標）
時間情報（フレーム番号）
Spectral clustering
類似行列
 A11 A12

 A21 A22
A



A
 N1 AN 2
 A1N 

 A2 N 
  

 ANN 
2
2
Aij  exp( pi  p j / 2  ti t j / 2 t2 )
2
p
色情報も加える
A'ij  Aij  (1   ) exp(B2[h(mi ), h(m j )] / 2 h2 )
Spectral clustering
L  D1/ 2 AD1/ 2
0 
 D11





 0

D
NN 

Dii   Nj1 Aij
 Ai1   AiN

1
2
0 
 A11  A1N  D11




    

 A  A  0

D
NN 
NN 
 N1

1
2
Spectral clustering
L  D1/ 2 AD1/ 2
Dii   Nj1 Aij
Lの固有ベクトルを求め ，
大きいもの K個をクラスタの初期シ ードとする
E  [e1,, eK ]
K meansアルゴリズムで各クラ スタに割り当てる
クラスタ kの軌跡をTrkとする
Tr  {Tr1,, TrK }
オクルージョン推定
A 部分軌跡にはキーフレーム内の追跡すべきオブジェクトを含んでいる
B オブジェクトを含む同じような部分軌跡は除外する
C 時間軸上で二つの部分軌跡の重なりの間ではオクルージョンは存在し
ない
D 一定の速度と時間制限がオクルージョンにある
オクルージョン推定
二つの木TA， TBを用意
キーフレームを含む部 分軌跡をノードとして 加える
Bに従って軌跡を取り除 く
CDに従って TAにノードとして加える
もしくは TBの子ノードをノードと して加える
TBからも同じようにノー ドを加える
つながるまで繰り返す
オクルージョン推定
TA
TB
(LO  SO )
LO : B - splineでつなげた軌跡の間隔の長さ（ pix）
SO : B - splineでつなげた軌跡の間隔の最大速度（ pix/frame）
オクルージョン推定
TA
TB
オクルージョン推定
TA
TB
オクルージョン推定
TA
TB
オクルージョン推定
TA
TB
オクルージョン推定
二つの部分軌跡をTr1 , Tr2とする（すべての点 {m j  [ p j , t j ]}Nj'1）
B - spline
NB
r(s)   Bn (s)qn
n 0
最小二乗誤差
N'
min  w(m j ) r(s' j )  m j
{q n }
2
j 1
s' j  (t j  t1 ) / N '
exp( w1 t j  t Ae )　j Tr1
w(m j )  
1
s
exp( w t j  tB )　j Tr2
軌跡最適化

Coarse to fineで二回処理を行う
T 1
1 T 1
P( X | Y , x1, xT )   ( yi | xi , x1, xT ) ( xi | xi 1 )
Z i 2
i 1
結果
結果
結果
結果
結果