Transcript 下載/瀏覽
Cinematic-Quality VoD in a P2P Storage Cloud: Design, Implementation and Measurements IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS/SUPPLEMENT, VOL. 31, NO. 9, SEPTEMBER 2013 Author： Fangming Liu, Member, IEEE, Shijun Shen, Bo Li, Fellow, IEEE, Baochun Li, Senior Member, IEEE, and Hai Jin, Senior Member, IEEE Ma1G0222 童耀民 2013/10/22 2 Outline 1. Introduction 2. Design Challenges And Methodologies 3. Design Choices Between Replication And Coding-aware Peer Storage Strategies 4. Design Choices Between Proactive Server Push-to-Peer And Passive Server Strategies 5. Novasky: Real-world Implementation And Measurement 6. Concluding Remarks 3 介紹 本文主要探討設計空間和實踐一個新的 Peer-to-Peer (P2P) storage cloud， 這是種能夠播放電影院高品質影片串流， 主要是採用分散式系統，使用本地端的 使用者的儲存空間。 這樣的 P2P儲存雲，關鍵在於設計時的 挑戰和權衡以及如何解決問題的選擇。 4 介紹 經由作者設計選擇，在現實世界中已經實 現了一個隨選視訊(Video On Demand , VoD)系統，稱為Novasky，提供新的感 知編碼Peer儲存的替換和push-to-Peer服 務的策略。 如何實現快取內容和貢獻Peer的最大化， 以滿足可用性和性能需求的電影院高品質 隨選視訊(VoD)，而沒有過多的伺服器頻 寬成本。 5 介紹 本論文在原創性的貢獻有兩方面： 首先，設計出 Peer儲存策略和伺服器頻 寬策略，探討具有代表性的設計選擇。 Peer方面的設計為大多數現有商業系統中 常用的P2P快取的簡單複製策略選擇和一 個新的感知編碼Peer儲存替換之間策略， 採用 maximum distance separable (MDS) ，例如里德-所羅門碼 (ReedSolomon code)。 6 介紹 伺服器端方面要容納頻繁Peer的進入離開 和演變及不用的使用者對於視頻內容的興 趣不同，採用兩種伺服器頻寬策略。 傳統被動模式，帶動Peer的貪婪觀看請求。 自適應伺服器推送模式，用於積極發送內 容的Peer在P2P儲存雲。 7 介紹 第二，建議和測量一個真實世界的電影院 高品質隨選視訊系統。 Novasky，實現超過10萬行程式碼，部屬 於清華大學校園網路中，擁有1000個視頻 串流及超過10,000個使用者，影片品質在 720p或1080p，傳輸速率1-2Mbps。相較 於傳統P2P點播系統的400kbps高。 8 設計的面臨挑戰和方法 A. 設計的目標和面臨挑戰 隨選視訊(VoD)背景下，一個P2P儲存雲定義 為”Pool” 本地快取儲存空間，所有參與的 Peer會經過一個 overlay network 和共同維 持豐富資源庫視頻內容的可用性跟傳遞。 為了彌補分散式Peer的多變性質，部屬一組 伺服器與P2P儲存雲結合來優化可用性和媒體 視頻品質。 9 設計的面臨挑戰和方法 現有的P2P隨選視訊系統，當一個系統角 度來看，參與Peer大多都是限於複製原始 視頻資料通過本地儲存空間，其過於簡單。 因為限制於Peer快取大小，這種簡單的策 略顯得不足用來保持資料的可用性和多樣 性，尤其是對電影院高品質影片隨選視訊 串流來說。 10 設計的面臨挑戰和方法 B. 方法(Methodologies) 對應上述遇到的問題，作者探討不同設計 選擇Peer儲存跟伺服器頻寬策略，從基於 模擬的壓力測試(“stress-tests”)以實際系 統時間在野外驗證。 首先，建立公正和實用的模擬之間進行比 較不同設計選擇，cctv.com 推動現實世 界的追蹤，從一個流行的隨選視訊服務。 11 設計的面臨挑戰和方法 1. 不失一般性，假設媒體伺服器(s)舉辦了 V=1000高品質的視頻，1GB大小和1Mbps， 觀察受歡迎的影片分布的現實追蹤。 2. 根據經驗，典型的上傳線路跟下載線路的 Peer容量是384Kbps和1.5Mbps的分別。 (不對稱性是根據公開網際網路ADSL存取) 像現有商業P2P隨選視訊，默認的Peer快取 空間 限制為2GB。 12 設計的面臨挑戰和方法 3. 要盡可能執行作者的設計選擇，所以 模擬穩定和動態的績效考核方案。 13 設計選擇 反覆驗證和 感知編碼Peer儲存之間策略 一個P2P儲存雲，最重要的設計目標是有 效地利用有限的Peer快取能力，保持視頻 的可用性，並最大化Peer上傳的貢獻。 使用網狀覆蓋，使每個Peer盡可能作為影 片服務的Peer。 提高視頻的儲存容量，利用編碼方式MDS 碼，已產生和儲存視頻資料的OFB編碼段 發送給Peer的快取。 14 設計選擇 反覆驗證和 感知編碼Peer儲存之間策略 A. Peer儲存and 替換 using ReedSolomon Codes 首先提出了一個感知編碼Peer儲存和 替換採用Reed-Solomon Codes，然 後實驗比較簡單的複製策略，根據公正 的追蹤驅動模擬。 15 設計選擇 反覆驗證和 感知編碼Peer儲存之間策略 16 設計選擇 反覆驗證和 感知編碼Peer儲存之間策略 1). Applying Reed-Solomon codes to segments. 17 設計選擇 反覆驗證和 感知編碼Peer儲存之間策略 編碼過程從原始視頻分部編碼。目的是空 出足夠的儲存空間量，以適應新的輸入視 頻，同時仍保持可用的編碼視頻。 由於在視頻中有k的片段，一個編碼片點 假設只有1/k的原始視頻的尺寸大小，當 在快取需要被回收 ，儲存的種子Peer來取代原來視頻的儲存 空間。 18 設計選擇 反覆驗證和 感知編碼Peer儲存之間策略 2) Choosing parameters n and k in Reed-Solomon codes. 為了減少被重複編碼片段的機率，在Novasky的 蓋羅瓦體(Galois Field, GF(q))，選擇使用有足夠 大規模的q。 一個好的選擇 q=216，它是Galois Field最大的 size，在軟體中可有效實現。在這種情況下，基 於 Reed-Solomon碼的要求，n ≦ q − 1，所以最 大n是216 − 1。 19 設計選擇 反覆驗證和 感知編碼Peer儲存之間策略 20 設計選擇 反覆驗證和 感知編碼Peer儲存之間策略 通過利用追蹤驅動模擬實驗，隨著K值的變化，可以 觀察到“sweet spots”。 K∈[16,64]為實現較少的緩衝時間，撥放中斷發生 時，Peer上傳頻寬使用率更高。 K∈[08,32]為實現對等存儲資源的利用率更高。 K∈[16,32]為系統設計人員 主要落在於[08,32]。 21 設計選擇 反覆驗證和 感知編碼Peer儲存之間策略 3) Estimating communication overhead 22 設計選擇 主動伺服器Push-toPeer 和 被動伺服器之間策略 A. Adaptive Server using Push-to-Peer Strategy 23 設計選擇 主動伺服器Push-toPeer 和 被動伺服器之間策略 B. Proactive or Passive? 24 設計選擇 主動伺服器Push-toPeer 和 被動伺服器之間策略 25 設計選擇 主動伺服器Push-toPeer 和 被動伺服器之間策略 26 Novasky：現實世界的實施 和測量 A. 系統部署與追蹤收集 感知編碼Peer儲存和主動伺服器推送 的策略下，作者以開發出一種新的電影 院高品質隨選視訊系統，名為Novasky， 為Linux和Windows平台。已經部屬和 營運自2009年9月在清華大學學校網路。 27 Novasky：現實世界的實施 和測量 28 Novasky：現實世界的實施 和測量 管理中心(Management Center,MC)伺服器，主 要的工作： 1. 保持所有媒體文件，包括MD5 hash值、長度、 每個文件的受歡迎程度。 2. 驗證使用者，基於RSA公鑰基礎設施。 3. P2P儲存雲中保持目前參與Peer的狀態，包括本 地儲存空間的狀態。 29 Novasky：現實世界的實施 和測量 媒體服務器(Media Servers, MS)與的P2P存儲雲，供給了大 量的使用者豐富的視頻資料庫。 30 Novasky：現實世界的實施 和測量 31 Novasky：現實世界的實施和 測量 32 Novasky：現實世界的實施和 測量 33 Novasky：現實世界的實施和 測量 34 Novasky：現實世界的實施和 測量 35 Novasky：現實世界的實施和 測量 36 Novasky：現實世界的實施和 測量 37 Novasky：現實世界的實施和 測量 38 結論 本論文設計空間和實踐出一種新型電影院高品 質影片的P2P點播媒體串流儲存雲。 提出了兩個獨特的機制 感知編碼Peer儲存和替換策略，充分利用 RS Code。提 高儲存效率和可用性。 自適應伺服器推送策略，視頻受歡迎的冗餘度。P2P儲存 雲中主動平衡供需和內容及頻寬。