Transcript スポーツ映像中の状況認識による 映像と解説の生成に関する

3次元パーティクルフィルタと
EMD を用いた選手の追跡
神戸大学大学院
工学研究科情報知能学専攻
CS17 有木研究室
西濃 拓郎
自動映像生成技術
視点固定映像
状況認識
上面図生成
映像生成
～選手がシュート！！
解説生成
www.***.com
研究目的
動画を解析して状況認識を行う
選手やボールを追跡して３次元位置
解説は主にイベントを中心に行われている
情報を獲得し、ゴールやファウル、
シュートといったイベントを検出する
物体の3次元位置情報を用いて
イベントを検出する
www.***.com
システムの概要図
入力動画
T=T+1
Particle Filter
SVMによる選手の検出
×
×
×
状態遷移
尤度評価
リサンプリング
出力動画
www.***.com
３Ｄパーティクルフィルタ
状態量：x  px , p y ; vx , vy ; ax , a y
( n)
( n)
( n)
( n)
( n)
( n)

( n) T
３次元ワールド座標空間に状態量をとることで、
奥行きを考慮したより現実に近いモデルでの追跡が可能
z
y
x
www.***.com
尤度評価
複数の特徴をベースとした尤度を組み合わせることに
よってオクルージョンに頑健な尤度とする
①
②
③
p( zt | xt )    pD    pH    pC
①検出結果ベースの尤度
②ヒストグラム特徴ベースの尤度
③相関値ベースの尤度
www.***.com
尤度評価
①検出結果ベースの尤度 pD
手法：SVM
Step1.Matching Matrix を計算する
Detection
Tracker Matching Matrix
S
N
s(tr, det )  g (tr, det )  (c(det )    pN (det  p))
SVMスコア
ptr
Step2.各trackerと最もマッチする検出結果det*を決定する
Step3.尤度を計算する
pD  I (tr)(  c( p)   p N ( p  det * ))
www.***.com
尤度評価
②ヒストグラム間距離ベースの尤度 pH
手法：EMD
・オクルージョン時に有用
・距離をガウス分布に入れて尤度とする
pH  pN (dist EMD )
③相関値ベースの尤度 pC
手法：正規化相互相関値
pC 
 {I (i, j)  I }{T (i, j)  T }
 {I (i, j)  I}   {T (i, j)  T }
i, j
2
i, j
2
i, j
www.***.com
EMD
Earth Mover’s Distance (EMD) [1]
定義
「２つの離散分布において、一方の分布を他方の分布に変
換するための最小コスト」
 線形計画問題の一つである輸送問題の解に基づいて計算さ
れる距離尺度
需要地の需要を満たすように供給地から需要地へ
輸送を行う場合の最小輸送コストを解く問題
 オクルージョンに強い特徴量として注目されている[2], [3]
[1]Y. Rubner, C. Tomasi, and L. Guibas,“The earth mover’s distance as a metric for image retrieval”, IJCV2000.
[2]A. Adam, E. Rivlin, and H. Shimshoni,”Robust Fragments-based Tracking using the Integral Histogram”, CVPR2006.
[3]Q, Zhao, S. Brennan, H. Tao,”Differential EMD Tracking”, ICCV2007.
2009/12/24 IEICE
中間報告
www.***.com
EMDの実装
H-S空間2次元ヒストグラム
供給量
供給地集合
P  {( p1 , w p1 ), , ( pm , w pm )}
特徴ベクトル
EMD
需要量
需要地集合
Q  {( q1 , wq1 ), , (qn , wqn )}
dij 
n
 ( pik  q jk )2
k 1
m
n
WORK ( P, Q)   dij f ij
i 1 j 1
輸送量 ： f ij
EMD( P, Q) 
WORK ( P, Q)
 
m
n
i 1
j 1
f ij
2009/12/1 研究室内発表会
www.***.com
実験条件
視点固定サッカー映像
画像サイズ
1280×720 [pixel]
Frame rate
30 [fps]
映像
平均330 [frame] ×12
総追跡人数
221人
Particle Filter
 パーティクル数：200
評価方法
追跡成功フレーム数
追跡精度 
全フレーム数  追跡人数
www.***.com
実験結果
pD
pH
×
×
pC Accuracy(%)
NCC
70.30
× Bhattacharyya NCC
72.41
×
NCC
73.64
○ Bhattacharyya NCC
75.52
EMD
・Bhattacharyya距離よりもEMDの方が精度がよい
・検出結果を尤度として用いることで精度が向上
www.***.com
まとめと今後の予定
まとめ
 EMDを用いることでオクルージョンに頑健な追跡が可能
となった
 検出結果を尤度としてパーティクルフィルタの枠組みに取
り入れることで精度が向上した
今後の予定
 イベントの検出
選手とボールの3次元位置情報
オフサイドの検出
www.***.com
ご清聴ありがとうございました
3D Particle Filter
State:

x ( n )  p x , p y ; vx , v y ; a x , a y
( n)
( n)
( n)
( n)
Transition
Likelihood
p( xT | xT 1 )
p( zT | xT )
( n)

( n) T
Resampling
×
×
N
×
p( xT 1 | ZT 1 )
p( xT | ZT 1 )
p( xT | ZT )
T  T 1
www.***.com
Bhattacharyya距離
① Bhattacharyya距離
RGB空間1次元ヒストグラム
p[k ]
255
B( p, q)  1   p[k ]  q[k ]
k 0
BB
q[k ]
BG
BR
Bdist  BB2  BG2  BR2
p( zt | xt ) 

1
2 |  |
e
( Bdist   ) 2
2| |
k
⇒ヒストグラムを用いることで、姿勢の変化にも頑健な尤度評価が可能
www.***.com
供給地
w p1
d11 d12
f11
需要地
wq1
wp2
w p3
d13
d 23
f12
f13
wq 2
d 33
f 23
f 33
wq 3
・・・・・
w pm
d mn
d 3n
f 3n
・・・・・
f mn
wqn
www.***.com
制約条件
 供給地から需要地の一方向にしか輸送されない
f ij  0
(1  i  m,1  j  n)
 供給地 i から供給できる容量は供給量 w pi を超過しない
n
f
j 1
ij
 wpi
(1  i  m)
 需要地 j が受け取れる容量は需要量 wqj 以下であること
m
f
i 1
ij
 wqi
(1  j  n)
 供給地から移動する輸送量（総フロー）
m
n
 f
i 1 j 1
ij
n
m
i 1
j 1
 min(  wpi ,  wqi )
www.***.com
ヒストグラム間距離計算（ユークリッド距離）
＞
1
1
0
0
0
コスト4
0
1 1
0
1
0
0
0
0
1
0
コスト2
ユークリッド距離で右図と左図で画像のヒストグラム間の距離を計算する際、対
応する色のビンの値がそのままコストに影響するため、それぞれコスト４とコスト
２となる。
この結果より右図の画像同士がよく似ていると判断されてしまう。
www.***.com
ヒストグラム間距離（EMD）
1
5
1
＜
コスト2
コスト5
EMDを用いた距離計算では上図に示すようにビンが1つずれる毎に輸送コ
ストが1かかると仮定する。この結果より、左図の画像同士が類似している
と判断される。
www.***.com
Integral Histogram とは
 Fatih Porikli,
“Integral Histogram: A Fast Way to Extract Histogram in Cartesian Space”,
In Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2005.
 複数の領域のヒストグラムを高速に計算するために考案された手法
 Integral Image (Cumulative Image) とよく似た考え方
www.***.com
Integral Image (1/2)
 ある画像について特定領域内の画素値をあらかじめ計算しておくといった
中間的表現を用いることによって、各矩形領域を高速に計算する手法
s ( x, y )
＜定義＞
x
0
ii ( x, y )   x ' x  y ' y i ( x' , y ' )
元画像の画素値
以下の再帰関数を利用
ii ( x, y )
s( x, y )  s( x, y  1)  i ( x, y )
ii ( x, y )  ii ( x  1, y  1)  s ( x, y )
ただし s(x, y) は累積的な列の和で
s ( x,1)  0
ii (1, y )  0
y
i ( x, y )
www.***.com
Integral Image (2/2)
 Integral Image は元画像を一度捜査することで計算される
 Integral Image を使うことで画像内の矩形領域内に含まれる画素値の和を
4つの要素の参照のみで計算できるようになる
A
B
1
2
D
C
3
4
点1の Integral Image の値は領域Aに含まれる画素値の和である。同様に
点2はA+B、点3はA+C、点4はA+B+C+D。したがって領域Dに含まれる画
素値の和は(4+1) - (2+3)で計算できる。
 OpenCV の “cvIntegral” で実装されている
www.***.com
Integral Histogram
H ( x1 1, x2 1, b)
x1
N1
H ( x1 , x2 1, b)
x2
N2
H ( x1 1, x2 , b)
H ( x1, x2 , b)
H ( x1, x2 , b)  H ( x1 1, x2 , b)  H ( x1, x2 1, b)  H ( x1 1, x2 1, b)  Q( f ( x1, x2 ))
座標(x1,x2)におけるIntegral Histogram
b:ビン数
座標(x1,x2)のヒストグラム
www.***.com
従来の尤度評価方法
正規化相互相関値
R( x, y)

 {T (i, j)T }{I ( x i, y  j) I}
i, j
 {T (i, j)T }   {I ( x i, y  j) I}
2
i, j
2
i, j
画素レベルで比較しているため、同じ人物でも少し
姿勢が崩れれば相関値が大きく下がってしまう
www.***.com