Transcript Document

第１回 序論
[email protected]
第１回
序論
1
第１回 序論
[email protected]
講義の目的 ～ シラバス
人間の視覚情報処理機構，及び，
ディジタル画像処理技術について解説し，
画像処理・認識技術を学ぶための土台と
しての理解を得ることを目的とする．
評価方法：
レポート試験と出席率（ミニレポート）
を考慮
2
第１回 序論
[email protected]
講義予定
1.
2.
3.
4.
5.
6.
7.
序論
視覚特性
空間周波数特性
立体視（1）
立体視（2）
錯視
色知覚
照明
9. 映像機器
10. ディジタル画像処理（１）
11. ディジタル画像処理（２）
12. ディジタル画像処理（３）
13. 研究事例紹介
8.
3
第１回 序論
[email protected]
参考書

「視覚と記憶の情報処理」 平井有三著
1995年, 培風館 （3,500円＋税）
ISBN4-563-01386-2
4
第１回 序論
[email protected]
本の表紙 （現在在庫切れ）
5
第１回 序論
[email protected]
視覚情報処理関連分野
6
第１回 序論
[email protected]
コンピュータと脳の比較
コンピュータ
脳
ニューロン
直径50μm
構成要素
論理ゲート・トランジスタ
構成要素サイズ
1μm2 x 素子数
動作速度
1０msec（１０Hz)
ファンアウト（出力数）
1nsec（１GHz）
10
10
情報表現形式
記憶
加算
積算
ディジタル
RAM
加算器
乗算器（ｍｍ３）
アナログ（パルス密度）
ファンイン（入力数）
10000-100000
10000-100000
シナプス結合係数
ケーブル特性
シナプス結合係数（μｍ３）
7
第１回 序論
[email protected]
理解の３つのレベル (D.Marr)
３つのレベル
理解する内容
人間の情報処理
Why Computational
Theory
計算の目的、
原理、適切性
空間周波数順応
How Algorithm and
Representation
アルゴリズム、
データ表現
フーリエ変換
Hardware
アルゴリズムの
実装
ニューラルネット
ワーク
空間周波数フィルタリン
グ
コンボリューション
8
第１回 序論
[email protected]
空間周波数順応の例
まず左図中央の横長バーを暫く（３０秒）見つづけてから，
右図中央の小さな四角形を見る
空間周波数
知覚？
9
渡邊研究室研究内容：
３次元・動画像処理・認識技術







3次元物体認識
動画像処理・認識
統計的画像パターン認識
並列協調分散画像認識
（親和的情報空間の構築）
移動ロボット視覚認識
福祉応用ビジョンシステム
画像監視ビジョンシステム
・・・
渡邊研究室：
http://www.ics.kagoshima-u.ac.jp/~fics/
10
親和的情報空間とは
Friendly Ｉｎｆｏｒｍａｔｉｖｅ Ｃｙｂｅｒ Ｓｐａｃｅ（ＦＩＣＳ）
人間（群）とコンピュータ（群）が
自然・自在にコミュニケーションできる環境
（物理空間，情報空間，認知空間のシームレスな結合）




身近・手軽・リアルタイム・完全非拘束
ロバスト（環境変動，照度変化，有限視野，・・）
エージェントベース
～状況に応じた発現（隠身・気付き・気配り）
学習・進化発展
11
関連研究

Forest of Sensors
～ MIT・AI Lab / E.Grimson
& INRIA / O.D.Faugeras
複数物体の移動状態追跡による屋外監視

Smart Room ～ MIT Media Lab./ A.Pentland et al.
“Perceptual intelligence”を持ったアシスタント（ＡＬＩＶＥ）

ロボティック・ルーム
～ 東大先端研 / 佐藤（知）
インテリジェントな病室の実現

Human Reader
～ ATR・知能映像通信研 / 間瀬
ビジョンベース・マンマシンインタフェースの実現

就寝状態自動モニタリングシステム ～ 東芝・渡邊ら / 愛媛大・石原ら
夜間無呼吸症の自動監視（福祉用途）の実現結合されたコンピュータ
12
動画像処理： 計測⇒利便性向上
親和的情報空間のイメージ１（自動ドア）
移動中の人物を追跡
ドアの傍に所在
人物がドアに向って接近したら開く
屋外： 信号機の適応的制御，迷子用道案内，・・
13
親和的情報空間のイメージ２（訪問者応接）
訪問者認識・
挨拶
訪問者の作業状態
（多忙・暇）に
応じた出現・消滅
訪問者の心理状態
に応じた応接
～
対話，
自律移動ロボット
によるサービス
14
現在目標： 分散協調視覚認識による
親和的情報空間の構築
物理的空間に配置された複数カメラの動画像入力
↓
自律エージェント群による分散並列視覚処理・認識
↓
人物の挙動，状態のリアルタイム認識
自律移動ロボットの視覚制御
対話型コミュニケーション
（CGアニメーション，音声）
～アフォーダンス付加
15
サッカー映像の
シーン自動解析の研究
知能情報工学講座
山本大樹
（指導教官 渡邊睦 教授）
16
スポーツ映像分野の現状
●地上デジタル放送の普及
●多チャンネル化
●視聴できる量には限度
→多放送化は進む
→幅広く視聴を楽しむ事は困難
映像の必要と思う箇所を検索、自動編集する
システム開発
↓
簡単に、視聴したい映像だけを見る事が可能
スポーツはサッカーを選択
17
スポーツ映像解析従来技術紹介
 スポーツゲーム情報提供に繋がる研究
-＞現在のボール、選手の位置を伝える
-＞テレビの隣に机を置き、その机に試合状況を３D表示
 放送映像の自動要約（ダイジェスト）作成に
繋がる研究
-＞特定のシーンの自動編集、録画の機能の発展を目的
我々の研究は下の分野に属する
18
サッカーシーン要約解析,従来技術
 シーン検索システムの長時間サッカー中継映像解析
島脇 巧,白井良明（大阪大学大学院工学研究科）
（特徴）
●長時間の試合を全て解析し,ショットのシーンだけを
自動判別
●そのショットシーンの中でもセンターカメラ、それ以外の
カメラのシーンなのかを自動判別
●カメラ姿勢（パン、チルト、ズーム）のキャリブレーションを
自動検出
19
この研究の問題点
この研究はシステム動作中は全自動判別
しかし動作前にあらかじめ
グラウンド情報を用意する必要がある
手間がかかり多忙な人は使ってくれない
その事前作業すら必要ない、放送の再生、停止作業
のみで多試合でも自動録画が可能なシステム開発
20
システムの具体的な説明
映像の状態を遠景シーン,ゴールシーン,ノーマルシーンと
それぞれ位置づけし、ゴールシーンのみ自動録画するシステム
遠景シーン
その他シーン
ゴールシーン
ゴールシーン
このシーンのみ録画
（シーンの位置づけが必要）
21
遠景シーン定義
（定義）
●芝生が画面全体に広がっている
●センターカメラからの撮影のシーン
このシーンを「遠景シーン」とする
（判定方法概略）
芝生の集まりに着目
22
ゴールシーン定義
（定義）
●遠景シーンの条件を満たさないシーン
●ゴールポストが映像中にある時
->シュートをしたりゴール際の白熱したシーンであった
基本的にこのシーンの場合を「ゴールシーン」
（判定方法概略）
ゴールポストに着目した
ゴールシーン自動検出
23
ノーマルシーン定義
（定義）
前の２つのシーン以外の全てのシーン
(監督や観客が映っているシーン,CM放送など
ゲームでないシーンが該当)
などが属する
（判定方法概略）
階層的に判定した結果、
前の2つの判定を満たさないシーン
24
定義の映像例
ゴールシーン
映像中ゴールポストが写って
いる
遠景シーン
芝生が広がっているシーン
●これら以外(監督,観客,CM映像など)は「ノーマルシーン」
25
定義
サッカー映像全シーン
設定領域の明度ヒストグラム
の状態によって判定
遠景シーン
遠景シーン以外
映像中にゴールポストが存在
するかを判定
ノーマルシーン
ゴールシーン
26
遠景シーンの検出方法
遠景シーン特徴・・・
芝生がたくさん映っていて設定領域
選手が小さく映る
設定領域内が全て
芝生ならば右の様な
明度ヒストグラム
画素数の集中
27
探索領域の自動補正
エッジ量
減少量の最も
大きい座標
垂直座標
28
明度ヒストグラムの判別
遠景シーンヒストグラム
その他シーンヒストグラムの一例
極大点
極大点
明度をx座標とし、それぞれの極大点のx座標平均
からの分散が左図の場合小さい事に着目
29
この方法の利点
極大点
極大点
試合中日照変化し、グラフは全体的に左右移動するが
極大点の分散は小さいまま ->日照の変化にも自動対応

従来の試合毎に色相を測る作業がいらない
30
システムのアルゴリズム
サッカー映像全シーン
設定領域の明度ヒストグラム
の状態によって判定
遠景シーン
遠景シーン以外
ゴールポスト判定処理
ノーマルシーン
ゴールシーン
31
ゴールポスト判定処理内容
遠景シーン
遠景シーン以外
Cannyフィルタでエッジ映像作成
縦ゴールポストと斜めポストの最点で交点が
一致してるか（ポスト検出）
yes
数フレーム連続で上の認識を満たすか
yes
画面全体のエッジ総量の閾値制御
no
ノーマルシーン
yes
ゴールシーン
32
ゴールポスト検出方法
●Cannyエッジフィルターからの
Hough変換による直線抽出（Main）
（ゴールポストの検出における手法）
●ゴールポスト近傍の明度ヒストグラム閾値制御
●画面全体のエッジ総量による閾値制御
●数フレーム間連続でこれら条件が満たされる場合、
真とするフレーム制御
33
直線検出Hough変換の導入理由
●ゴールポストは縦の強いエッジであるから
●基本的に縦エッジは他にセンターラインのみ
34
ゴールポスト検出
２本の直線の交点は
最下点のｘｙ座標となる
35
エッジ総量による閾値制御
選手にズームしているシーンは他のシーンと比べ
エッジ総量が明らかに小さい
エッジ総量が値t以下の場合、ゴールシーンと判定しない
誤認識の低下を図る
36
連続フレーム制御
重要なゴールシーンは撮影する側がカメラを固定して撮
影
する為、長いフレーム間縦エッジが存在
mフレーム連続で今までの条件満たした時、真とする
稀に1フレームだけ「ゴールシーン」判定する
場合、録画結果に影響を及ぼす
37
実験環境







PC
512Mbyte
カメラ
CPU P4-1.7G mem
SONY Handycam
DCR-TRV30
グラフィック
Matrox Millennium G550
キャプチャー Matrox MeteorⅡ
OS
Windows XP Profesional
開発言語
MicroSoft
VisualC++6.0
DV編集
Canopus EZDV
ProCoder2.0
38
実験条件
試合 （World Cup 2002 予選）
１試合の映像時間 ４５分間＋ロスタイム
映像数・・５
閾値 t=1500,m=3
(試合１スウェーデンvsセネガル前半)
(試合２スペインvsアイルランド前半)
(試合３日本vsチュニジア前半)
(試合４ブラジルvsベルギー前半)
(試合５日本vsトルコ前半)
39
実験映像（スペインvsアイルランド）
40
自動録画結果（セネガルvsスウェーデン）
41
実験結果の算出方法
FRR,FARの算出方法を用い実験結果を算出
FRR（False Reject Resio）とは、
照合時,誤って正しいものを違うものと判定して照合が失敗する比率
FAR（False Accept Resio）とは、
照合時,誤って違うものを正しいものと判定して照合してしまう比率
FRR 
FAR 
ゴールポスト が映っていてゴールポスト を認識し ないフレーム数
処理フレーム数
ゴールポスト が映ってないのにゴールポスト と 認識する フレーム数
処理フレーム数
（処理フレーム数=（FPS数）*(試合時間（秒数）)）
42
実験結果（表）
試合1
FRR
試合4
試合5
146
(
)
19761
130
(
)
19390
(
185
)
20148
130
(
)
19754
0.35％ 0.18％ 0.17％ 0.43％ 0.38％
69
(
)
19740
処理速度
試合3
0.52％ 0.74％ 0.67％ 0.91％ 0.66％
103
(
)
19740
FAR
試合2
36
(
)
19761
33
(
)
19390
(
86
)
20148
75
(
)
19795
7 fps(Frame per second)程度
（47分間の試合の場合、処理フレームは7FPS時,19740フレーム）
43
考察
ゴールポストがありゴールポストと認識
しなかった実験結果考察
ゴールポストがないのにゴールポスト
と誤認識した実験結果考察
●ゴールポスト後方看板 ●試合会場四隅に
の明るさによっては
縦ポールが存在し、
ゴールポストのエッジが そのポールを誤認識
（対応策は施しているが、
途切れる試合がある
完全に無くせていない）
●選手がゴールポストの
正面に立ってた場合
認識ができない
44
今後の課題
 考察における問題点の解決
（アルゴリズム改良による処理速度向上、断線補完技術
を用いてエッジの途切れを無くす）
 歓声情報からの盛り上がり度の解析
（歓声が非常に大きいシーンは,ゴール際でボールが
入るか入らないかなどの興奮するシーンと考察する）
45