Transcript CV07

コンピュータビジョン特論
第７回対象追跡
２００６年１１月１５日
加藤丈和
レポート予告
 追跡プログラムコンテスト
動画ファイルの対象を追跡
照明、位置、向きが変化する対象
初期位置は手で与える
アルゴリズムはなんでもよい
具体的には、次週の終わりに出題
対象追跡とは（検出と追跡）
 コンピュータビジョンにおける追跡タスクと
は？
 検出と追跡はどう違うのか？
 検出：一枚の画像から指定した条件をみた
す画像領域を抜き出す処理
 追跡：動画像から指定した領域を抜き出し、
フレーム間で対応づける処理
検出と追跡
 検出
一枚の画像から
対象を抜き出す
対象のモデル
 追跡
入力画像
複数フレーム間
で対象を対応づ
ける
t-1フレーム
tフレーム
検出と追跡
 毎フレーム対象を検出すれば追跡？
対象のモデル
入力画像
フレーム間で対応づけていない
→追跡ではない
検出と追跡
二個検出された
t-1フレーム
tフレーム
どちらが対応している？
検出だけではわからない
フレーム間で対応付けていないのは追跡ではない
検出結果をフレーム間で対応付ければ追跡
追跡の応用分野
 サーベイランス（観測、監視）
 運動解析
 ３次元形状復元（Structure from Motion）
追跡手法に要求される要素
 計算コスト
リアルタイム（ビデオレート）
 複雑な背景の元でのロバスト性
室内、屋外、雑踏
 環境変動への対応
照明変化、背景変動
 パラメータ調整の容易さ
初期設定、閾値
追跡手法の分類
 対象の表現（モデル）による分類
追跡対象の情報を何で表現するか
見え（局所画像）、色ヒストグラム、エッジなど
 類似性尺度による分類
モデルと画像をどう対応付けるか
二乗誤差、相関、など
 探索方法による分類
どうやって追跡対象を見つけるか
（周辺）全探索、勾配法、動き予測
これらは互いに関連する
対象追跡研究の推移
屋外・環境変動への対応
個人認識、人物監視
サーベイランス
オフライン処理
リアルタイム処理
軍需関係？
全探索
勾配法
・1968 更新テンプレートマッチング
予測に基づく手法
見えに基づく手法
・1981 Lucas-Kanade
勾配法(レジストレーション）
・1991 Tomasi-Kanade
勾配法（特徴点追跡）
・1971 航空機画像解析
（雲の動きの解析）
・1995 モンテカルロフィルタの利用
bootstrap filter
動きのモデル化
・1980後半 カルマンフィルタの利用
時系列フィルタリング
・1992 J. Boyce, D. Toulson
α-β-γトラッカー
・1975 K. Fukunaga
Mean-Shift
Mean-Shift
基盤となる要素技術の発展
ハードウェアの発展
1980年
1990年
・1998 M. Isard, A. Blake
ConDensation
・2000 D,. Comaniciu P. Meer
Mean-Shiftを使った非剛体追跡
クラスタリングに基づく手法
・1999 EMベースの追跡
パターン認識に基づく手法
・2001 SVMを使った追跡
2000年
見えに基づく追跡
見えに基づく追跡手法
（ブロックマッチング＋全探索）
１．局所領域（ブロックを切り出す）
比較
３．ブロックを切り取って比較
４．最も類似した領域
を結果とする
類似度最大
（相違度最小）
t-1フレーム
tフレーム
２．前のフレームの周辺を探索
類似性尺度が最大になる領域を周辺領域から探す
見えに基づく手法の類似性尺度
 よく用いられる類似度(相違度)１
SSD(Sum of Squared Differences)
x
画素毎の差分の二乗和（二乗誤差）
 (d)  It (x  d)  It 1 (x)2
xW
Ｗ
W : 画像中の局所領域（ブロック）
 x
x  W : 領域W内の座標x   
 y
I t-1
d
I A (x) : 画像Ｉ Aの座標xの画素値
 dx 
d : 変位量d   
dy 
x+d
It
見えに基づく手法の類似性尺度
SSD(Sum of Squared Differences)
2


 (d)   It (x  d)  It 1 (x)
xW
最も基本的な誤差関数
画像をベクトルとみなせば、ベクトル間
のユークリッド距離（の二乗）
外れ値の影響を受けやすい
照明変化の影響を受けやすい
 画素値が全体的に変化する
ラスタスキャン
多次元ベクトルと考える
画素毎に差をとって二乗
総和
見えに基づく手法の類似性尺度
 よく用いられる類似度(相違度)２
SAD(Sum of Absolute Differeces)
画素毎の差分の絶対値の和
 (d)  | It (x  d)  It 1 (x) |
xW
SSD
 (d)  It (x  d)  It 1 (x)2
画像をベクトルとみなした場合のＬ１距
離（市街地距離）
SSDに比べて外れ値の影響を受けにくい
照明の影響を受けやすい
xW
見えに基づく手法の類似性尺度
 よく用いられる類似度(相違度)３
CC(Cross Correlation) 正規化相互相関
 I (x  d)  I I
 (d )  xW
t
t
t 1

(x)  I t 1 明るさの正規化
| I t (x  d)  I t || I t 1 (x)  I t 1 |
I t 1
 I (x)

,I
1
xW
t 1
xW
t
 I (x  d)

,
1
xW
t
コントラスト
の正規化
SSD,SAD
xW
ベクトル間の内積（角度）
照明変化に強い
CC
ノルムが変化しても内積
CCは変わらない
見えに基づく追跡まとめ
類似度最大もしくは相違度最小の変位ｄを求める
dˆ  min  (d)
dˆ  max (d)
d
d
 類似度（相違度）
SSD（二乗誤差）
 (d)  It (x  d)  It 1 (x)2
SAD（絶対誤差）
 (d)  | It (x  d)  It 1 (x) |
xW
xW


It (x  d)  It It 1 (x)  It 1

CC（正規化相互相関）
 (d)  xW
| It (x  d)  It || It 1 (x)  It 1 |

見えに基づく追跡の拡張
 変位ｄだけでなく、拡大、縮小、回転などの
領域の変形を含む追跡
x  Ax  d
 a11 a12  x   d x 

    
 a21 a22  y   d y 
アフィン変換
見えに基づく追跡の拡張
 ( A, d)  It ( Ax  d)  It 1 (x)
2
xW
x  Ax  d
 a11 a12  x   d x 

    
 a21 a22  y   d y 
６パラメータの最小化が必要→計算量が大きい
全探索では非現実的
a ,a ,a ,a ,d ,d

11
12
21
22
x
y

見えに基づく追跡＋
全探索の問題点
 計算量が多い
ブロックサイズ×探索領域のサイズの計算コ
スト
回転、スケールなどに拡張した場合はさらに
計算コストが増大する
 変位量が離散的
 勾配法による追跡
見えに基づく追跡
＋勾配法
 勾配法とは、暫定解まわりの勾配（傾き）
に基づいて山登り（山くだり）によって極大
値（極小値）を見つける
Lucas Kanade法
Lucas & Kanade法
SSD :   I ( x  x, y  y, t  t )  I ( x, y, t )2 ①
xW
Σ内の第一項目をテイラー展開すると
I ( x  x, y  y, t  t )
I ( x, y, t )
I ( x, y, t )
I ( x, y, t )
 I ( x, y, t )  x
 y
 t

x
y
t
変位が微少であるとして２次以降の項を無視
(ｘ周辺で線形近似）
x  d x , x  d y , t  1として①に代入すると

 d I ( x, y, t)  d I
( x , y )W
x x
y y
( x, y, t )  I t ( x, y, t )
2
I
I
I
I x ( x, y, t )  x, y, t , I y ( x, y, t )  x, y, t , I t ( x, y, t )  x, y, t 
x
y
t
テイラー展開とは？
関数f ( x)が無限に微分可能であるとき

f ( n) (a)
f ( x)  
( x  a)n
n!
n0
1
 f (a)  f (a)(x  a)  f (a)(x  a)2  
2
のように変換でき、f(x)のaのまわりのテイラー級数展開という
Lucas & Kanade法

d I ( x, y, t)  d I ( x, y, t)  I ( x, y, t)
2
( x , y )W
x x
y y
t


ˆ
ここで d  min は
 0,
 0となる dを求めればよいので
d
d x
d y

  2I x ( x, y, t )d x I x ( x, y, t )  d y I y ( x, y, t )  It ( x, y, t )  0
d x ( x, y )W

  2I y ( x, y, t )d x I x ( x, y, t )  d y I y ( x, y, t )  It ( x, y, t )  0
d y ( x, y )W
T
 I x (x1, t )  I x (xn , t ) 
T


A 
,
d

d
d

x
y
I
(
x
,
t
)

I
(
x
,
t
)
y
n
 y 1

b   It (x1, t )   It (xn , t )Tとすると
AT Ad  AT b  AT Ad  AT b
Lucas & Kanade法
AT Ad  AT b
T
 I x (x1, t )  I x (xn , t ) 
ここで、 A  
より

I y (x1, t )  I y (xn , t ) 
2

I
(
x
,
t
)
I x (x, t )I y (x, t )


x
T
A A 

2
I
(
x
,
t
)
I
(
x
,
t
)
I
(
x
,
t
)
 x

y
y
となり、 AT Aが正則なとき解を持ち 、
dˆ  ( AT A)1 AT b
探索不要で解が求まる
アフィン変換などへの拡張も可能
Lucas & Kanade法の実装
I
I x ( x, y, t )  ( x, y, t )  I ( x  1, y, t )  I ( x, y, t )
x
I
I y ( x, y, t )  ( x, y, t )  I ( x, y  1, t )  I ( x, y, t )
y
It ( x, y, t ) 
I
( x, y, t )  I ( x, y, t  1)  I ( x, y, t )
t
時間微分＝フレーム間の差分
空間微分＝
隣り合う画素の差
Sobelオペレータ
Lucas & Kanade法の実装
t-1フレーム
tフレーム
フレーム間差分 I t
b
d  ( AT A)1 AT b
Iy
Ix
A
Lucas & Kanade法と追跡の安定性
AT Ad  AT bのAT Aに注目
2

I
(
x
,
t
)
I x (x, t ) I y (x, t )


x
T
A A 

2
 I x (x, t ) I y (x, t )
 I y (x, t) 
I x (x, t ), I y (x, t ) の共分散行列


AT A の第二固有値が０→ランク落ち→解が求まらない
同じ方向の勾配しか存在しない場合
勾配に直交する方向の位置が定まらない
aperture problem(窓問題)
固有値が０に近いと不安定
Lucas & Kanade法と追跡の安定性
 AT A の二つの固有値が大きいとき追跡
が安定に行える
強い勾配が存在する
いろんな方向（直交する方向）に強い勾配が
存在する
このようなブロックの追跡は安定
追跡に適した特徴の抽出
 GoodFeaturesToTrackアルゴリズム
T
A
 A の最小固有値が極大になる特徴点
（局所画像）を抽出
 ３次元形状復元などでよく用いる
見えに基づく追跡まとめ
 局所画像そのものを対象モデルとする
 SSD,SAD、CCなどの類似性尺度を用いる
 平行移動だけでなく、回転、スケールなど
へ拡張可能
 全探索では計算量が多い→勾配法
Lucas＆Kanade法
 追跡しやすい特徴点の抽出
GoodFaturesToTrack
色ヒストグラムによる追跡
色ヒストグラムによる追跡
 見えに基づく追跡の問題点
対象の形状変化に弱い
非剛体の追跡には向いていない
 同じ位置の画素ごとに比較するため
 対象領域全体の統計量を使う
→色ヒストグラム
色ヒストグラムとは？
 ヒストグラムを色空間に拡張
 色空間を矩形分割し、各色の数をカウントする
 照明変動の影響を避けるため、輝度成分をのぞ
いた色空間を用いることが多い
ヒストグラム間の類似性尺度
ヒストグラム：
h(i) i C : 色空間
  hA (i)hB (i)
   hA (i)  hB (i)
  min{hA (i), hB (i)}
  hA (i)  hB (i)
iC
iC
iC
hA
hB
2
iC
ヒストグラム間の類似性評価
 Bhattacharyya Coeficient(バタッチャリア係数)
   hA (i)hB (i)
iC
ヒストグラムによる追跡
 対象領域ないのヒストグラムを計算
対象モデル
モデルヒストグラム
入力ヒストグラム
ポジション
ヒストグラムによる追跡
類似度
yˆ  arg max ˆ (y)
y
ヒストグラムによる追跡＋勾配法
Mean Shift
重み付きヒストグラム u番目のbinの値
 1 if i  0
 [i]  
0 otherwisex
b(x) : xの場所の色（何番目の binの色か）
k (d ) :中心に近いほど大きい値をとる微分可能な重 み関数
カーネル関数
ｋ（ｄ）
ｄ
Mean Shift
入力画像のヒストグラムも同様に定義
xi
y
hはスケール
h
Mean Shift
バタッチャリア係数をテイラー展開（１次の項まで）
前のフレームの位置
重み付きヒストグラムの式を第二項に代入
定数
Mean Shift
第二項を最大化→微分＝０より
カーネル関数の微分
Mean Shift
ヒストグラムの比
特に
とすると
１
微分が定数
ヒストグラムの比
ヒストグラムの比を重みとして、領域内の重心を求める
ヒストグラムに基づく追跡まとめ
 対象領域内のヒストグラムを使って類似性
を評価
 画素ごとの比較をせず、領域ないで積算し
た特長を使う
形状変化、姿勢変化に強い
姿勢、スケールの推定は難しい
 勾配法の適用→MeanShiftアルゴリズム
領域内でヒストグラムの重心を求めるだけで
よい
その他の表現を用いた追跡
 エッジのマッチングによる追跡
 輪郭による追跡
 3次元モデルを用いた追跡
など。。。
輪郭（エッジ）に基づく追跡
詳細は次週
 ConDensation
（IJCV98 M. Isard and A. Blake）
 対象表現：輪郭モデル
 類似度(尤度）：エッジと輪郭の距
離
 照明変化、色の変化に強い
 裾野が広く、滑らかな尤度分布
The Condensation algorithm home pageより
まとめ
 モデルの表現と類似性尺度について
 勾配法に基づく探索について
 見えに基づく追跡
→Lucas Kanade法
 色ヒストグラムによる追跡
→Mean Shift法
出席チェック
 出席チェック
検出と追跡は何が違うか？
見えに基づく追跡の弱点はなにか？
勾配法による探索の利点を２つあげなさい
学籍番号と名前を記入して提出
 次回は予測に基づく追跡について