Transcript PowerPoint

CRAM: Compact Representation of Action
in Movies
古川拓弥
はじめに
• 著者
– Mikel Rodriguez
– University of Central Florida
• CVPR2010のポスター発表
• 映像の要約（Video Summarizing）
– 特定動作の着目した要約
– フーリエ変換を利用した動作特定
提案手法の流れ
1. 時空間領域中における動的領域の決定
2. 動的領域内からの特定動作の検出
3. エネルギー最小化による映像要約
動的領域の決定（1/3）
• 入力映像からオプティカルフローの算出
• フロー場を周波数領域で考える
– フロー場のフーリエ変換：Clifford Fourier Transform
– 逆フーリエ変換 : Inverse Clifford Fourier Transform
動的領域の決定（2/3）
• 位相情報の逆フーリエ変換により動的領域Wの特定
– フーリエ変換における位相情報とは？
• 2次元画像の場合：画像の濃淡変化が得られる
• フロー場の場合：動きの変化を捉えることが可能
動的領域の推定（3/3）
• 位相情報の逆フーリエ変換により動的領域Wの特定
– しきい値処理によって領域分割 = worm
u：フロー場
P( f(x, y, t) )：位相スペクトル
特定動作の検出
• 動作テンプレートに基づく特定動作の推定
– 入力シーケンスとテンプレートの尤度計算
H(x, y, t)：動作テンプレート
s(l+x, m+y, n+t)：入力シーケンス
尤度の正規化
• 相関空間の正規化により応答値を最適化
– EH：フィルタエネルギー
– Es(l, m, n)：位置 (l, m, n)における評価ボリュームの
エネルギー
エネルギー最小化による映像の要約
• グラフカットを用いてエネルギーを最小化
– データ項 Et：最大時間コスト
• 要約映像の長さ（最大時間）
– 平滑化項 Eo：時間重複コスト
• 特定動作毎の時間的な重複
– ラベル：wormの時間推移
映像要約例
元映像
要約映像
特定動作の要約映像
• 「拾う」動作に着目した映像の要約
– 特定の動作のみを一つのシーンに集約
– 動作検索が容易
映像要約例
• ムービー
– http://vimeo.com/9761199
まとめ
• 特定の動作に着目した映像の要約
– 周波数領域において映像中の動的領域を推定
– テンプレートマッチングにより特定動作を特定
– グラフカットを用いて映像の要約
→ 映像解析の簡略化