Transcript ボール認識 領域ラベリング 孤立点除去 膨張･縮小処理 背景

個人適応型サッカー映像の
自動生成技術
神戸大学 有木研究室
窪田進太郎
放送の多様化
• 現代の映像放送は、従来の地上波・数チャンネルで
はなく、BS、CS、地上波デジタルなども加わり膨大
な数に増大している
Ex.）スカイパーフェクTV：数百チャンネル
• 現在の配信型放送ではなく、放送局から配信された
映像を各家庭に保存してそれを視聴するサーバ型
放送移行するためのインフラの整備が整ってきてい
る
Ex.）DVD・HDDレコーダーの普及
放送の多様化による問題点
• 撮影チャンネルの増大につれ撮影の人員、
機材、コストなど放送局の負担の増大
• 多チャンネル化による映像資源の不足
↓
自動処理でコストを削減でき
人間とは違った処理による
質の高い映像を生成をできる
デジタルカメラワークの提案
デジタルカメラワークとは
高解像度固定映像から、映像処理により映像を切り出し、そ
の位置を連続的に変化させることによって新たな映像を生成
する手法
従来手法と提案手法
テレビ映像用にプロカメラマンが撮影した映像
を、パン処理とズーム処理を用いて模倣
↓
誰にでも最適な映像ではなく、
個人に対して最適な映像の生成
処理の流れ
入力映像
画像処理
状況認識
カメラワーク
背景差分
ルール適応
個人適応
膨張･縮小処理
イベント認識
フレームサイズ
孤立点除去
内枠位置
領域ラベリング
フレーム座標
ボール認識
出力映像
デジタルカメラワークの概要1
ズームイン、ミドルショット、ズームインの3種類のフ
レームサイズを用いる。以下の図が示すようにミド
ルショットとズームアウトは相互に連続的に変化し、
ズームインのシーンを合間に断続的に挿入すること
によってカメラワークを実現する。
ミドルショット
ズームアウト
ズームイン
デジタルカメラワークの概要1
タイトショット
ミドルショット
ルーズショット
デジタルカメラワークの概要2
• 画面内に内枠を設け、その
中にボールが収まるように
クリッピング座標を移動さ
せていく。これによりボール
の微小な動きには反応しな
い視聴しやすい映像を生成
する。
• 内枠の位置は基本的には
中心に設置するが、状況に
よって移動させることによっ
てボール以外の注目部も
映像に収めることができる。
個人適応技術
• カメラワーク変化パラメータの内、4種類を変化させ
る→ズーム速度、ズーム処理、画面サイズ、イベン
ト評価
例）それぞれのプレイを見るのではなく、高解像度映
像に近い映像がみたい
→ズーム速度：DOWN、
ズーム処理：高解像度の頻度をUP
画面サイズ：UP
イベント評価：なし
状況認識
フレームサイズの変化のタイミングのルールを設け、
それに当てはまるときにフレームサイズを変化させ
る。
• ズームアウト→ミドルショット
– ゴール前
– 選手が密集している時
• ミドルショット→ズームアウト
– ロングパスなどでボールが高速に長距離動く時
– 選手が散開している時
• ズームイン
– ボールの取り合いなどでボールがほとんど動かない状況
イベント認識
• ボール座標が一定時間変化しないようなイベント、すなわち、
–
–
–
–
–
フリーキック
コーナーキック
スローイン
ゴールキック
ペナルティキック
を検出する。ボール座標の継続時間と、ボール座標、オブ
ジェクトとの位置関係によって検出する。
– Ex) ボール座標・コーナースポット、選手の集団が比較的近く
に存在 → コーナーキック
• イベントごとにフレームサイズ、内枠の位置を定めておき、そ
れを適応する。
– Ex)コーナーキックであればカメラがミドルショットでゴール前を
押さえ、ゴールが入るように内枠を上下に移動
提案手法映像
AHP法を用いた映像の評価
AHP法（Analytic Hierarchy Process)
不確定な状況や多様な評価基準における
意思決定手法であり、評価基準に
個人の嗜好を反映させることができる。
評価項目
–
–
–
–
–
–
ズーム処理
パン処理
ショットサイズ
ショット持続時間
画質
試合の流れ
評価対象
–
–
–
–
提案手法映像
従来手法映像
高解像度固定映像
TV映像
実験結果・考察
提案手法映像
ズーム処理
パン処理
ショットサイズ
ショット持続時間
画質
試合の流れ
従来手法映像
固定映像
TV映像
0.00
0.10
0.20
0.30
0.40
0.50
• フリースロー以外は認識率90%以上
• 試合の流れを把握することが最重要
• ズーム処理の付与
→映像の基本構成を備え、TV映像と各嗜好の評価の割合が類似
• ズーム処理の低評価
→ズーム処理の他基準への影響
課題
• 画質の大幅な劣化に対して、質の下がりにく
いデジタルズーム
• 状況に左右されないイベント認識
• 主観的な評価だけではなく、TV映像との比較
にカメラワークをどれだけ再現できているかと
いう客観的な評価
• 全景映像を用いての映像生成
• より詳細なルールの設定
参考文献(1)
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
大野義典, 三浦純, 白井良明, “サッカーゲームにおける選手とボールの追
跡,” CVIM 114-7, 1999.
宮森恒, 越後富夫, 飯作俊一, “短時間動作記述によるスポーツ映像の表現と
検索方式の検討,” 知能情報メディアシンポジウム, S-9, 1999.
新田直子, 馬場口登, 北橋忠宏, “放送型スポーツ映像の構造を考慮した重要
シーンへの自動アノテーション付け,” 信学論 (D-II), vol.J84-D-II, no.8,
pp.1838-1847, Aug.2001.
新田直子, 馬場口登, “放送型スポーツ映像の意味内容獲得のためのストー
リー分割法,” 信学論 (D-II), vol.J86-D-II, no.8, pp.1222-1233, Aug.2003.
瀧剛志, 長谷川純一, “チームスポーツにおける集団行動解析のための特徴
量とその応用,” 信学論 (D-II), vol.J81-D-II, no.8, pp.1802-1811, Aug.1998.
高橋正樹, 三須俊彦, 合志清一, “オブジェクト抽出技術のスポーツ番組への
応用,” SLDM 111-1, 2003.
藤村光, 杉原厚吉, “優勢領域に基づいたスポーツチームワークの定量的評
価,” 信学論(D-II), vol.J87-D-II, no.3, pp.818-828, Mar.2004.
大西正, 輝泉正夫, 福永邦雄, “デジタルカメラワークを用いた自動映像生成,”
画像の認識・理解シンポジウム (MIRU2000), pp.I-331-I-336, Jul.2000.
前田英作, 高橋裕子, 石井健一郎, “環境変動にロバストな物体有無判定法,”
信学会(D-II), vol.J74-D-II, no.12, pp.1731-1740, Dec.1991.
田中健二, 鈴木健治, 佐藤正人, 荒川佳樹, “高精細度映像(WHD :
Wide/Double HD)伝送システム,” 信学会(D-II), vol.J84-D-II, no.6, pp.1094-
参考文献(2)
11. 坂木和則, 横田健一郎, 大野啓司, 鈴木康平, 有澤博, “多視点
テレビ放送を用いた映像内のオブジェクト位置の認識と追跡,”
信学会(D-I), vol.J87-D-I, no.2, pp.175-187, Feb.2004.
12. 宮内進吾, 馬場口登, 北橋忠宏, “テキスト・音声・画像の協調的
処理による放送型スポーツ映像におけるハイライト検出とインデ
クシング,” 信学会(D-II), vol.J85-D-II, no.11, pp.1692-1700,
Nob.2002.
13. 三須俊彦, 苗村昌秀, 境田慎一,鄭文涛, 金次保明, “複数情報
の融合によるサッカー選手のロバストな追跡法,” 信学技報,
PRMU2001-67, 2001.
14. 越後富夫, 宮森恒, 飯作俊一, “GMRFとオプティカルフローを利
用したサッカー映像のオブジェクト抽出,” 画像の認識・理解シン
ポジウム(MIRU’98), TP3-05, 1998.
15. 瀧剛志, 松本貴之, 長谷川純一, 福村晃夫, “サッカー映像から
のチームワーク評価方法の検討,” 信学技報, PRMU96-10,
May.1996.
16. 松本貴之, 瀧剛志, 長谷川純一, “団体球技のゲーム分析のた