Transcript エンコーダ 送信バッファ部

講義状況と帯域に適応する
映像伝送方式
* 森村吉貴 * *八木啓介 * * 美濃導彦
*京都大学 情報学研究科
* *京都大学 学術情報メディアセンター
映像伝送
 インターネットによる映像伝送が普及
 映像伝送方式
従来は映像の内容（伝送の目的）を問わない
目的に応じた映像伝送方式を提案
 講義、スポーツ、報道など多様な目的
 目的によって重要な情報が異なる
 限られた帯域の中で重要な情報を優先する
例）講義であれば、板書が読めることが重要
講義映像伝送
ここで、「講義」という目的を考える
 同じ目的でもその状況は変化する

 板書、口述、解説など
→状況によって重要な情報は変化する
例）単に口述だけをしている状況では、
板書は必ずしも読めなくてよい
講義状況

本研究では以下の四つに講義状況を分類
講義状況
説明
重要な情報
１．板書
講師が白板に文字などを書いている 文字・図情報
２．口述
講師が喋っている
動き情報
３．解説
講師が板書などを指示しながら解説
文字・図・動き
全ての情報
４．その他 講師が間合いなどを取っている
重要な情報なし
状況認識

講義室内にセンサを設置、その情報から状況認識
 センサ
電子白板
 超音波位置センサ
 マイクロフォンアレイ

：白板への入力の有無
：講師の３Ｄ位置、白板との距離
：講師の発話の有無
白板入力 白板距離 発話有無
１．板書
２．口述
３．解説
４．その他
有
無
ー
ー
遠
近
（上記以外）
無
有
有
映像の時空間解像度
状況に応じて情報の優先度を変更したい
 そのために、映像の時空間解像度を考える

 映像は静止画（フレーム）の系列である
時間解像度：毎秒当たりのフレーム数
 空間解像度：フレーム当たりのデータ量

映像の時間解像度
単位時間（1sec）あたりのフレーム数(fps)
 大きくすることで動き情報を優先する
 小さくすることで動き情報を抑制する

（ただし、下限は存在する）
時間解像度：小
時間解像度：大
映像の空間解像度

フレームあたりのデータ量(KB)
 画素数・圧縮率など多くの要因を統合
大きくすることで文字・図情報を優先する
 小さくすることで文字・図情報を抑制する

（ただし、下限は存在する）
空間解像度：小
空間解像度：大
状況と時空間解像度
講義映像として許容範囲かどうかそれぞれの状況を主観評価
時間解像度
１．板書
２．口述
３．解説
４．その他
空間解像度
１．板書
２．口述
３．解説
４．その他
1
5
10
15
20
30(fps)
×
×
×
○
○
×
×
○
○
×
×
○
○
×
×
○
○
×
×
○
○
○
○
○
(1
1.5
2
4
5 )(Mbps：30fps時)
4
6
8
16
20(KB)
×
×
×
○
×
×
×
○
×
○
×
○
×
○
×
○
○
○
○
○
時空間解像度と帯域
空間解像度
○
×
現在の
帯域
× ○
時間解像度
伝送するデータ量は空間解像度と時間解像度の大きさに比例
許容される時空間解像度の組み合わせを伝送モードと呼ぶ
「板書」における伝送モード
帯域２Mｂｐｓの場合
空間解像度
映像データ量の表
（単位:Mbps）
(KB)
○ ２０ ×0.2 ○0.8 ○1.6 ○ 2.４ ○ 3.2 ○ 5
× １6 ×0.1 ×0.6 ×1.3 ×2
×2.6 ×4
８ ×0.06 ×0.3 ×0.6 ×1.2 ×1.3 ×2
６ ×0.04 ×0.2 ×0.5 ×0.7 ×1 ×1.5
４ ×0.03 ×0.2 ×0.3 ×0.5 ×0.6 ×1
1
5
10
15
20
２Mｂｐｓ
30(fps)
時間解像度
×○
10fps, 20KBの伝送モードで、１．６Mbpsのデータを伝送
「口述」における伝送モード
帯域２Mｂｐｓの場合
空間解像度
映像データ量の表
（単位:Mbps）
(KB)
２０ ×0.2 × 0.8 × 1.6 × 2.４×3.2
１6 ×0.1 ×0.6 ×1.3 ×2 ×2.6
８ ×0.06 ×0.3 ×0.6 ×1.2 ×1.3
○ ６ ×0.04 ×0.2 ×0.5 ×0.7 ×1
× ４ ×0.03 ×0.2 ×0.3 ×0.5 ×0.6
1
5
10
15
20
○5
○4
○2
２Mｂｐｓ
○1.5
×1
30(fps)
× ○時間解像度
30fps, 8KBの伝送モードで、２Mbpsのデータを伝送
「解説」における伝送モード
(KB)
○ ２０ ×0.2 ×0.8 ×1.6 ×2.４ ×3.2
× １6 ×0.1 ×0.6 ×1.3 ×2
×2.6
８ ×0.06 ×0.3 ×0.6 ×1.2 ×1.3
６ ×0.04 ×0.2 ×0.5 ×0.7 ×1
４ ×0.03 ×0.2 ×0.3 ×0.5 ×0.6
1
5
10
15
20
○5
×4
×2
２Mｂｐｓ
×1.5
×1
30(fps)
×○
30fps, 20KBは帯域2Mbpsに収まらない
バファリングして伝送
バファリング伝送

許容される下限の解像度でも帯域に収まらない
 送信側でバファリングして伝送
 受信側で蓄積してデコード
 エンコード・デコードはリアルタイム
伝送時に遅延が発生するが、それを許容
データ量
データ量
送信側
ネットワーク

帯域
遅延
受信側
「その他」の状況の利用
(KB)
２０ ○0.2 ○ 0.8 ○ 1.6 ○2.４ ○3.2
１6 ○0.1 ○ 0.6 ○1.3 ○2 ○2.6
８ ○0.06 ○0.3 ○ 0.6 ○1.2 ○1.3
６ ○0.04 ○0.2 ○0.5 ○0.7 ○1
４ ○0.03 ○0.2 ○0.3 ○0.5 ○0.6
1
5
10
15
20
○5
○4
○2
２Mｂｐｓ
○1.5
○1
30(fps)
伝送しなくても許容される
データを廃棄することでバファリング伝送の遅延を補償
システム構成図
受信側講義室
送信側講義室
カメラ マイク
センサ類（カメラ・マイク・ビーコン）
モニタ スピーカ
センサ情報
から
状況認識
動
画
音
声
MPEG2
エンコーダ
空間解像度
制御
制御部
時間解像度制御
バファリング制御
映像
データ
送信バッファ部
動
画
帯域
情報
音
声
MPEG2
デコーダ
映像
データ
受信バッファ部
ネットワーク
動作実験
MPEG２ ハードウエア・コーデックを使用
 帯域情報

 一定値（２Mbps）が得られているものとする
 実際の帯域はこれよりも十分に広い

状況の変化に従った伝送モードの変化を確認
状況：発話
状況：板書
「指示」から「その他」への移行
まとめ

目的に応じた映像伝送方式を提案
 講義を目的とする

状況によって重要な情報は変化する
 状況に応じて伝送モードを変更
各状況で時空間解像度を変更して重要情報を優先
 優先すべき情報が帯域内に収まらない場合

→バファリングすることで帯域内に収める
→必ずしも重要でない映像を廃棄することで、遅延を補償
画像：空間解像度の保証結果
通常のMPEG2による伝送
提案手法
講義状況に応じた伝送方式を実現