Transcript メディア伝送における 伝送遅延の表記手法に関する 研究

メディア伝送における
伝送遅延の表記手法に関する
研究
環境情報学部 4年 遠峰 隆史(tomine)
親：uhyoさん
サブ親：ringoさん
背景
• 複数のストリーミングを同期再生したい
– たとえば…
• 異なるフォーマットのビデオデータを同期再生
– フォーマットごとにエンコード・デコードにかかる時間
が違う
• マルチビジョン転送システム
– 複数台のディスプレイを
用いた映像表示
» 9画面分割など
マルチビジョン転送システム
•
実現方法
1.
2.
3.
4.
ディスプレイの台数と
同数の送信／受信ノー
ド群の設置
各送信ノードより対応
する受信ノードへの映
像データ送信
受信ノード間での同期
ディスプレイへの出力
受信ノード群
ノード間同期
インターネット
送信ノード群
問題点
• これまで…
– ネットワークで発生する伝送遅延に
取り組んだものが多かった
• これから…
– ハードウェアにおいて発生する遅延にも
取り組むべき
ハードウェアと遅延
• 機材の接続方法
– メディアコンバータの有無
– 使用する機材の量
→収録・再生環境の違い
• 機材のスペックの差異
– エンコード・デコードにかかる時間
– バッファ量
→機材の個体差
様々な要因に伴って異なる
再生遅延時間
• 環境例
– A
• Camera 1→PC 1→Internet→PC A→Display
– B
• Camera 2→PC 2→Internet→PC B→Media conv. B→TV B
– C
• Camera 3→PC 3→Internet→PC C→Media conv. C→TV C
Camera
A
Sender PC
Receiver PC
Display
Internet
Media Conv.
B
C
t
様々な要因に伴って異なる
再生遅延時間
• 機材の組み合わせによって
再生遅延時間が異なる
→人間には映像や音のズレとなって伝わる
• ズレの許容時間
– リップシンクの例(NHK技研): 下表
• アナウンスと打楽器における許容限調査
音進み
音遅れ
アナウンス
+78ms
-182ms
打楽器
+56ms
-130ms
既存技術
mLAN
• 機器間同期
• mLAN(Yamaha社)
– MIDI対応デバイスやミキサをFirewireを用いて接続，データ転送
や協調動作を行うシステム
• Clock Master
– 相互接続されたデバイスに対し，シリアルバスクロック修正を
行う
• MIDI機器以外(アンプ・スピーカー・PC)などには関与し
ない
Clock Master
Slave
Slave
Slave
アプローチ
• 各パートごとに発生する遅延時間を
コストとして扱う
– 実際に接続した際の合計遅延時間を
コスト計算 として扱う
• 例
– 下記のような接続の場合
Internet
Camera
Media
Conv.
Sender
PC
Receiver
PC
Media
Conv.
TV
コスト計算の例
Sender PC
Camera
Media
converter
IEEE 1394
Interface
50
5
10
Internet
処理時間
Memory
NIC
CPU
20
5
500
Receiver PC
処理時間
NIC
5
Memory
20
青文字：コスト
CPU
IEEE 1394
Interface
Media
converter
TV
5
50
5
合計コスト＝675
コスト計算の例
• 実際の再生に至るまでの遅延時間
– 675 + α (ゆらぎ)
• ゆらぎ
– ネットワークやハードウェア処理におけるジッタ
• このコストに基づいた遅延時間の算出、
必要バッファ量計算を行う
動作概要
1.機器ごとに定義ファイルを準備
2.CUI/GUI上で接続方法を指定
5.送受信再生開始
3.それぞれの再生環境におけるカメラから再生までの
4.コストに基づいたwait時間を設定
コスト計算
B社製
D社製
Internet
A社製
C社製
B社製
C社製
B社製
A社製
実装環境
• 既存の映像転送技術
– DVTS
– MPEG2-TS
• Linux
• C言語
• 余力があれば…
– GUIの作成
• Java , Flash or PHP ???
評価
• 同期精度
– 同一フォーマット
• すべてのディスプレイにおいて
フレームのズレがないか
– 異種フォーマット
• DVとMPEG2-TS