Transcript b < c - 東京大学

ネットワークトポロジを考慮した
効率的なバンド幅推定手法
長沼翔 高橋慧 斎藤秀雄 柴田剛志
田浦健次朗 近山隆
（東京大学）
1
背景
• バンド幅マップを得ることはますます重要に
– ネットワークの管理、運用のため
– 広域分散アプリケーションの最適化のため
8
10 3
A
S
B
7
8
10 5 9
C
D
E
バンド幅マップの例
F
2
背景
• バンド幅マップを得ることはますます重要に
– ネットワークの管理、運用のため
– 広域分散アプリケーションの最適化のため
8
10 3
A
S
only 3!?
B
7
8
10 5 9
C
D
E
F
3
背景
• バンド幅マップを得ることはますます重要に
– ネットワークの管理、運用のため
– 広域分散アプリケーションの最適化のため
8
8
Throughput =
10 3
A
S
B
7
10 5 9
C
D
E
F
3
source :
(A)
destinations : others
パイプラインを用いたブロードキャスト
4
背景
• バンド幅マップを得ることはますます重要に
– ネットワークの管理、運用のため
– 広域分散アプリケーションの最適化のため
8
A
S
4
3 3
B
1
C
D
5 E5
F
source :
(A)
destinations : others
A Stable Broadcast Algorithm [Kei Takahashi et al, CCGrid2008]
5
背景
• バンド幅マップを得ることの難しさ
– ネットワークの深部の情報が得られない
• 既存の1対1推定ではボトルネックリンクしか得られないことがほとんど
– 多大な時間と手間を要する
• ホスト数N に対して推定すべき組み合わせはO(N2)
バンド幅マップ
8
10 3
A
S
B
7
従来方法で得られるバンド幅マトリクス
8
A
B
10 5 9
C
D
E
C
F
D
E
F
A
B
C
D
E
F
-
3
7
8
5
8
-
3
3
3
3
-
7
5
7
-
5
9
-
6
5
-
目的
• バンド幅マップを得る為の新たな手法の提案
– 正確
• ネットワーク深部まで把握できる
– 高速
• 高いスケーラビリティを持つ
– ユーザレベルで実行可能
• root 権限を必要としない
• 機器や規格に依らない
7
8
発表の流れ
•
•
•
•
•
背景と目的
既存手法の紹介
提案手法の紹介
実験と評価
まとめ
9
1対1の推定を基調とした手法
• Iperf など (Streaming method)
– 10 sec データを送受信，送れたデータサイズを10 sec で割る
• ○ 正確でばらつきの小さい結果
• × ボトルネックリンクの値しか得られない
• Pathchar など (One-Packet method)
– パケットの伝送時間をキュー待ち，機器の遅れ，転送時間に分けて考え，
沢山の観測データから転送時間のみを抽出し，バンド幅を算出する
• ○ 負荷が小さい
• × 不正確でしかもばらつきが大きい，スイッチが介在すると測れない，測定時間が長い，
root 権限が必要など
• Nettimer など (Packet-Pair method)
– 二つのパケットを連続送信し，受信側で到達時間の差を見，それから間の
リンクのバンド幅を推定する
• ○ Pathchar より高速
• × 不正確でしかもばらつきが大きい，ボトルネックリンクの値しか得られない
10
Network Weather Service
• 各ホストにデーモンが置かれる
– 各ホスト間の全体全で推定を自動に行う
• 結局、得られるものはバンド幅マトリクス
– 手間は省けるが、バンド幅マップの様な詳細
な情報は得られない
– スケールしない
?
11
perfSONAR
• SNMP を用いたネットワーク監視ツール
– 高速であり、バンド幅マップの様な詳細な情報も
得られる
• ただし機器や規格に依存する
– SNMP 非対応の機器
– perfSONARプロトコルの標準化
• 得られるバンド幅の値は定格値
– ユーザレベルではあまり実用的ではない
12
発表の流れ
•
•
•
•
•
背景と目的
既存手法の紹介
提案手法の紹介
実験と評価
まとめ
13
問題設定
• 木構造ネットワーク上に、バンド幅マップを
構築する
– 入力はトポロジ、出力はそれの全リンクにバンド幅の
値を割り当てたバンド幅マップ
• トポロジは既知とする
– トポロジは高速に推定可能
• 4 クラスタ，256 ノードの推定に16 秒
– Shirai et al. A Fast Topology Inference (HPDC 2007)
• リンクのバンド幅は上下対称とする
– 一般の場合にも適用可能
14
提案手法
• 基本はIperf
– 1対1を推定対象の単位とするのではなく、
1スイッチ + 3ノードで1セット（基本セット） を推定対
象の単位とする
• トポロジを基本セットに分解して考え、それらを
葉部からボトムアップ式に並列に推定を進める
15
全体的な処理の進み方
16
個々の基本セットの推定
B
A
Link
C
基本セット
1 スイッチに3 ノード（ホスト，スイッチ等）が接続されたネットワーク
一般のネットワークは基本セットの連続である
17
個々の基本セットの推定
a
A
B
a
A
Link
a
A
a
a
B
Link
a
C
b
C
b
B
b
B
c
C
Link
a
A
b
C
Link
基本セットのバンド幅マップは，4 ケースしかない
（ a < b < c としてよい）
個々の基本セットの推定
4 ケースのバンド幅マップ
x
A
B
Link
C
各ケースで期待される、1 対 1 もしくは 1 対 2 のバンド幅推定結果
a < 19b < c
個々の基本セットの推定
j
A
i j
B
Link
i
k
C
jk
基本セットの推定
完了
(i<j<k)
各ケースで期待される、1 対 1 もしくは 1 対 2 のバンド幅推定結果
a <20 b < c
個々の基本セットの推定
一般の場合の推定手順
B
x
A
Link
C
• 1 対1 推定を三種類行う。
– If 二種の異なる値が観測された
• １ 対2 推定を二種類行う。
– If 異なる値が観測された
» case 4
– Else if 等しい値が観測された
» case 3
a<b<c
– Else if 三つとも等しい値が観測された
• 1 対2 推定を三種類行う。
– if 二種の異なる値が観測された
» case 2
– Else if 三つとも等しい値が観測された
» case 1
21
基本セットは決定できたが…
22
セットまでの経路にボトルネックリンクがあると、結果が誤る
ネットワーク深部 （エンドホストから離
れた位置にある基本セット）では、束ね
たストリームを用いる
23
提案手法の特徴
• 詳細なバンド幅マップの推定が可能
– 基本セット、ストリームの束という考え方を組
み合わせることで実現
• 高速でスケーラブル
– 干渉・競合を気にせず、各セットを葉部分から
並列に推定を進めることができるため
• root 権限は不要、ネットワーク機器の設定
変更なども不要
24
発表の流れ
•
•
•
•
•
背景と目的
既存手法の紹介
提案手法の紹介
実験と評価
まとめ
25
実験結果
• 先に提案した手法を利用した、バンド幅
マップ推定ツールを実装した
• 11 クラスタ、352 エンドホストで構成される、
実際の広域分散環境上で実行し、120 秒
程度でバンド幅マップが得られた
26
実験環境
hongo@東大
85 hosts
imade@京大
31 hosts
15
14
14
14
14
14
suzuk@東工大
37 hosts
31
37
kyoto@京大
36 hosts
hiro@広島大
6
mirai@未来大
6 hosts
36
11 hosts
15
okubo@早大
15 hosts
11
11
kyushu@九州大
keio@慶應
11 hosts
10 hosts
10
11
kobe@神戸大
11 hosts
16
19
16
19
48
10
chiba@NII
129 hosts
28
29
推定精度
実験環境の全リンクについて，
実際に負荷をかけて確かめたスループットに対する実験結果の比と，
そのような比の値をとったリンクの出現頻度
推定時間
発表の流れ
•
•
•
•
•
背景と目的
既存手法の紹介
提案手法の紹介
実験と評価
まとめ
32
まとめ
• 正確かつ短時間にバンド幅マップを推定す
る手法を提案した．
• 実際の分散環境上で実験を行い，その精
度を検証し，またスケーラビリティの高さを
確認した．
– 11 クラスタ，352 ホストの環境で120 秒程度
今後考えられる課題
• 一般的なネットワークの適用
– 非ツリー
– 非対称なリンク
• ストリームを流す方向も制御して、そこに2 本のリ
ンクがあるとして推定を進める など
34
35