Transcript ocn

卒業制作最終発表
LinkPoint: ネットワーク負荷軽減のために
DNSによる近接性を取り入れたP2Pシステム
慶應義塾大学環境情報学部
黒宮 佑介（kuro）
親: 斉藤（ks91）さん
サブ親: 重近（nazo）さん
目的
P2Pネットワークにおいて
下位層トポロジを考慮した網の構築を可能にする
• ネットワーク・計算機資源の有効活用
– 近接通信で完結するデータ転送
– バックボーンへの負荷を低減
– 利便性の向上・新しいサービスの創発
2015/10/5
卒業制作最終発表
2
背景
• P2Pシステムの普及
– クライアント・サーバモデルとは異なる応用方法
によって構築されたネットワークシステム
• 特徴
– ○利点：負荷分散性・耐障害性に優れる
• 動画などの大容量コンテンツの配信
• インターネットクラウドなどの高負荷な処理への対応
– ×欠点：管理・制御が難しい
• 展開されるネットワークの全容を把握することが困難
• ネットワークトポロジが流動的
2015/10/5
卒業制作最終発表
3
問題点
• P2Pシステムにおける管理性・制御性の欠如
– 不規則なP2Pネットワークトポロジを形成
同じデータなのに遠くから…
Edge Network
組織A
Regional Routers
Internet Transit
Search & File Transfer
組織B
Regional Routers
Edge Network
• 下位層を考慮しないトポロジにより
– 必要以上のトラフィックが発生しバックボーンを圧迫
2015/10/5
卒業制作最終発表
4
考え方：ネットワーク距離
• 下位層ネットワークトポロジ
– そのものを取得するには大量のコストが必要
• 間接的に表現する指標
– ネットワーク距離
「指標」を用いることでコストを低減
2015/10/5
卒業制作最終発表
5
P2Pネットワークにおけるネットワーク距離
• 既存手法ではRTTやHop Countが使用される
– RTTはデータ転送パフォーマンスの向上のため
本研究の目的には適さない
– Hop Countは計測ができないノードが多い
• トラフィックを集約するための指標が必要
2015/10/5
卒業制作最終発表
6
アプローチ
• DNSを利用したネットワーク距離
root
.
– 管理ドメインに着目
jp
Top Level Domain
• 管理ドメインのラベル: FQDN
ne
– 同一のドメイン名を持つノード
2nd Level Domain
Network Distance
• 単一の組織に属している
ためネットワーク的に近い
– 優先的に接続する
ad
A
B
C
3rd Level Domain
Network Distance
• トラフィックの削減・
集約が可能に
A-a
A-b
B-a
B-b
C-a
C-b
Sub Domain
a
b
Distance
2015/10/5
卒業制作最終発表
c
d
Distance
7
FQDNの解析
• Fully Qualified Domain Name（FQDN）
– 組織名・地理情報・ネットワークIDなどが含まれる
• FQDNの解析手順
1.ドメインレベルの判定
一致しなかったところで終了
2.レーベンシュタイン距離を計算
自分のホスト名との差を求める
レーベンシュタイン距離
ドメインレベル
p1234-ipbf5678marunouchi.tokyo.ocn.ne.jp
p1234-ipbf2222marunouchi.tokyo.ocn.ne.jp
2015/10/5
卒業制作最終発表
8
レーベンシュタイン距離
• 2つの文字列の類似度を示す数値
– 編集距離ともいわれる
• 文字列操作
出典: Wikipedia
例）レーベンシュタイン距離: 3
1. kitten
– 置換
2. sitten
（“k”を“s”に置換）
– 挿入
3. sittin
（“e”を“i”に置換）
4. sitting
（“g”を挿入して終了）
– 削除
必要な手順の最小回数を求める
• 類似度が低いほど大きな数値が出る
2015/10/5
卒業制作最終発表
9
FQDNによる優先度
• FQDNを解析、「優先度」としてスコアを求める
– ドメインレベル
• ドメインレベルごとに64点を加算
– レーベンシュタイン距離
• 64点からレーベンシュタイン距離を引いた点を加算
– 64点
• “.”で区切られる最大長（63文字）＋1点
• FQDNを詳しく解析すること
– ネットワーク距離を細かく分析することにつながる
2015/10/5
卒業制作最終発表
10
評価
• 実測データを用いた検証
– FQDNによる優先度を実測データによって検証する
• OCN
• BBTEC
• 提案アルゴリズムの検証
– FQDNの解析アルゴリズムを他のドメインのFQDN
の命名規則をもとに検証する
• 実ネットワークを用いた評価
– FQDNによる優先度によってトラフィックの影響範囲
が集約される様子を評価する
2015/10/5
卒業制作最終発表
11
実測データを用いた検証
• 実P2Pネットワーク上のノードに対して検証
– 対象: Winny・Share
• 取得した実測データ
– FQDN
– Hop Count
• 観測期間とノード数
– OCN：12/11～12/17（168時間） 35,000ノード
– BBTEC：1/16～1/17（48時間） 13,750ノード
2015/10/5
卒業制作最終発表
12
Hop Countを指標として用いること
• 本手法の目的
– インターネットにおけるトラフィックの局所化
ネットワーク負荷の軽減
• ネットワーク負荷
– フロースループット×リンク数
• Hop Count
– 経由するリンク数を示している
– 小さくすることでネットワーク負荷は低減される
Hop Countを小さくすることが重要
2015/10/5
卒業制作最終発表
13
OCNから取得した実測データ
• Hop CountとFQDNによる優先度の比較
30
アルゴリズムの境界
p****-adsao01yokonib1-acca.kanagawa.ocn.ne.jp
p****-adsao01yokonib1-acca.kanagawa.ocn.ne.jp
Domain Level Levenshtein Distance
12
分布: 粗
20
10
分布: 密
ノード数
8
ノード数
10
5
.
jp
ne
0
64
128
2015/10/5
p****-ipbf****hodogaya.kanagawa.ocn.ne.jp
p****-ipbf****hodogaya.kanagawa.ocn.ne.jp
ocn
192 256 320
384
295
300
305
310
315
320
優先度が高くなるにつれてHop Countが小さくなる
卒業制作最終発表
14
BBTECから取得した実測データ
• Hop CountとFQDNによる優先度の比較
アルゴリズムの境界
30
30
Domain Level Levenshtein Distance
分布: 粗
softbank************.bbtec.net
分布: 密
20
20
ノード数
ノード数
10
10
.
net
0
64
2015/10/5
128
192
178
180
182
184
186
188
190
優先度が高くなるにつれてHop Countが小さくなる
卒業制作最終発表
15
Hop CountとFQDN優先度の一致率
• OCN
一致
81%
0%
• BBTEC
20%
40%
不一致
19%
60%
80%
一致
76%
0%
• 一致率
20%
40%
100%
不一致
24%
60%
80%
100%
– 実測データから任意の2つのノードを抜き出す
– 優先度の高いノード＝Hop Countが小さい
2015/10/5
卒業制作最終発表
16
他のドメインの命名規則
• 地域名・IDのみが入るもの
–
–
–
–
p123a45.tokynt01.ap.so-net.ne.jp
nttkyo123456.tkyo.nt.ngn.ppp.infoweb.ne.jp
pl123.nas955.p-tokyo.nttpc.ne.jp
OFSfb-123p123-123.ppp11.odn.ad.jp
• IPアドレスのみが入るもの
– 123-45-67-89.eonet.ne.jp
– 89.67.45.123.dy.bbexcite.jp
• IPアドレスの一部が入るもの
– q6789.dynamic.ppp.asahi-net.or.jp
• 地域名・ID とIPアドレスが入るもの
– FL1-123-45-67-89.tky.mesh.ad.jp
– i123-45-67-89.s05.a015.ap.plala.or.jp
– 123x45x67x89.ap123.gyao.ne.jp
2015/10/5
卒業制作最終発表
17
FQDN評価アルゴリズムの検証
• 本アルゴリズム
– ドメインレベル＋レーベンシュタイン距離
• 他のアルゴリズム
– ドメインレベルアルゴリズム
– レーベンシュタイン距離アルゴリズム
– 最長一致アルゴリズム
2015/10/5
卒業制作最終発表
18
ドメインアルゴリズム
• 特徴
– レーベンシュタイン距離を計算しなくて良い
– ホスト名の類似度が低い場合
同じ優先度になってしまう
– 例） p3002-ipbf1710hodogaya.kanagawa.ocn.ne.jp
• 256pt: p3044-ipbf1710hodogaya.kanagawa.ocn.ne.jp
• 256pt: p8210-adsao01yokonib1-acca.kanagawa.ocn.ne.jp
2015/10/5
卒業制作最終発表
19
ドメインアルゴリズム
ノード数
• OCNの場合
優先度256
30
12
20
10
Max Priority
ノード数
8
ノード数
10
5
.
jp
ne
0
64
128
ocn kanagawa
192
256
2
256
208 224 240 256 272 288 304 320
Hop Countに関わらず1つの優先度に集約
2015/10/5
卒業制作最終発表
20
レーベンシュタイン距離アルゴリズム
• 特徴
– ドメインレベルの判定を行う必要が無い
– 本来優先度の低いノード群を選ぶ場合がある
– 例）本アルゴリズム
• 1位群: p****-ipbf****hodogaya.kanagawa.ocn.ne.jp
• 2位群: p****-adsao01yokonib1-acca.kanagawa.ocn.ne.jp
– 例）レーベンシュタイン距離
• 1位群: p****-ipbf****hodogaya.kanagawa.ocn.ne.jp
• 2位群: p****-ipbf****kagawa.kagawa.ocn.ne.jp
2015/10/5
卒業制作最終発表
21
レーベンシュタイン距離アルゴリズム
• OCNの場合
p****-adsao01yokonib1-acca.kanagawa.ocn.ne.jp
優先度32
p****-ipbf****kagawa.kagawa.ocn.ne.jp
p****-ipbf****kagawa.kagawa.ocn.ne.jp
30
15
12
20
10
2nd Group
ノード数
ノード数
8
10
5
1st Group
32
0
10
20
30
40
50
第2位群が神奈川から香川へ
2015/10/5
p****-ipbf****hodogaya.kanagawa.ocn.ne.jp
p****-ipbf****
hodogaya.kanagawa.ocn.ne.jp
30
35
40
45
50
p****-ipbf****hodogaya.kanagawa.ocn.ne.jp
卒業制作最終発表
22
最長一致アルゴリズム
• 文字列を右（後方）から最長一致する
• 特徴
– 最も単純なアルゴリズム
– 有効に働く場合と働かない場合がある
– 例1） p3002-ipbf1710hodogaya.kanagawa.ocn.ne.jp
• 有効に働く
– 例2） softbank219209190116.bbtec.net
• 有効に働かない（ネットワークIDがあるため）
2015/10/5
卒業制作最終発表
23
最長一致アルゴリズム
• OCNの場合
優先度
30
下位 上位
p****-adsao01yokonib1-acca.kanagawa.ocn.ne.jp
p****-adsao01yokonib1-acca.kanagawa.ocn.ne.jp
20
10
ノード数
8
ノード数
10
5
Lower
0
10
p****-ipbf****hodogaya.kanagawa.ocn.ne.jp
p****-ipbf****hodogaya.kanagawa.ocn.ne.jp
Upper
20
30
40
20
25
30
35
本アルゴリズムと同じ傾向に
2015/10/5
卒業制作最終発表
24
最長一致アルゴリズム
ノード数
• BBTECの場合
優先度
30
下位 上位
30
20
10%
10%
90%
90%
20
ノード数
ノード数
10
10
Hop Count: 10以下
Lower Upper
0
2
5
8
10
12
9
10
11
12
13
14
近いものも優先度が低くなる
2015/10/5
卒業制作最終発表
25
FQDN評価アルゴリズムの検証
• ドメインレベルアルゴリズム
– ホスト名が違う場合に対応できない
• レーベンシュタイン距離アルゴリズム
– 第2位群の精度の判定を間違う場合がある
• 最長一致アルゴリズム
– 有効に働く場合と働かない場合がある
• 本アルゴリズム
– すべての場合に適用可能であり、汎用性がある
2015/10/5
卒業制作最終発表
26
実装
•
LinkPoint
– ネットワーク距離にFQDNを用いたP2Pシステム
• 動作
– メタ情報管理
• P2Pシステム内のファイルの情報を管理
• FQDNをメタ情報に付加
– データ転送
• メタ情報に含まれるFQDNから接続ノードを決定
• ネットワーク距離の近いノードからデータを取得
2015/10/5
卒業制作最終発表
27
評価
• 実ネットワークを用いた実験
– 実装のテスト：データ転送時のノード選択
• 自分以外のノードが同じデータを保持
自分にとって近いノードからデータを取得するか確認
– アルゴリズムの評価：データ拡散時のノード選択
• 各ノードがそれぞれ個別のデータを保持
データ拡散時にデータ転送が近接で収束するか検証
• データを3種類用意
– 10MB, 100MB, 1000MB
– ノードあたりのデータ転送量を取得
2015/10/5
卒業制作最終発表
28
実験環境
①
bbexcite.jp
15
③
ocn.ne.jp
⑤
bbtec.net
15
15
18
other Domain
15
20
12
19
The Internet
16
11
18
13
6
8
keio.ac.jp Domain
dmc.keio.ac.jp
②
2015/10/5
7
sfc.keio.ac.jp
ics.keio.ac.jp
④
⑥
卒業制作最終発表
29
FQDNによる優先度
• 本アルゴリズムによって計算した優先度
bbexcite.
jp
bbexcite.
jp
ocn.
ne.jp
bbtec.
net
dmc.
keio.ac.jp
sfc.
keio.ac.jp
ics.
keio.ac.jp
2015/10/5
ocn.
ne.jp
bbtec.
net
dmc.
keio.ac.jp
sfc.
keio.ac.jp
ics.
keio.ac.jp
-
64
0
64
64
64
64
-
0
64
64
64
0
0
-
0
0
0
64
64
0
-
192
192
64
64
0
192
-
192
64
64
0
192
192
-
卒業制作最終発表
30
実験結果（データ通常転送時）
• 異なるドメイン間の結果
bbexcite
遠くからもデータを受信
ocn
bbtec
400
300
200
100MB
15
16
17
18 11
12
13
14
15 15
16
17
18
19
20
同じドメインがいない場合ネットワーク距離は関係ない
2015/10/5
卒業制作最終発表
31
実験結果（データ通常転送時）
• 同じドメイン間の結果
dmc
近くからデータを受信
sfc
ics
600
500
400
300
200
100MB
8
10 12
15
18 20
8
10 12
15
18 20
8
10
12
15
18
同じドメインがいる場合ネットワーク距離は有効に働く
2015/10/5
卒業制作最終発表
32
実験結果（データ拡散時）
• 異なるドメイン間の結果
①bbexcite
遠くからもデータを受信
③ocn
⑤bbtec
3000
2000
1250
1500
1000
2000
750
1000
500
1000
500
250MB
15
16
17
18
11
12
13
14
15
15
16
17
18
19
20
同じドメインがいない場合ネットワーク距離は関係ない
2015/10/5
卒業制作最終発表
33
実験結果（データ拡散時）
• 同じドメイン間の結果
②dmc
近くからデータを受信
④sfc
⑥ics
5000
5000
4000
4000
3000
3000
2000
2000
1000
1000
1250
1000
750
500
250MB
8
10
12
15 18 20
8
10 12
15 18 20
8
10
12
15
18
同じドメインがいる場合ネットワーク距離は有効に働く
2015/10/5
卒業制作最終発表
34
実ネットワークによる実験
• 同じドメイン名を持つノードが存在しない場合
– ネットワーク距離は有効に働かない
遠くからもデータを取得
• 同じドメイン名を持つノードが存在する場合
– ネットワーク距離は有効に働く
近くからデータを取得
• ネットワーク負荷の軽減が可能
2015/10/5
卒業制作最終発表
35
まとめ
• 目的： P2Pネットワークにおけるネットワーク
資源の有効活用
– 問題点：不規則なネットワークトポロジ
• アプローチ：DNSの管理ドメイン
– FQDNに着目
• 評価：FQDNの解析アルゴリズム
– ドメインレベル＋レーベンシュタイン距離
– 汎用性・精度の面において優位（80%の一致率）
2015/10/5
卒業制作最終発表
36
今後の展望
• 新しい指標の検討
– FQDN以外のパラメータの導入
– BGPのルーティング情報の利用
• 評価方法の検討
– スループット・セッション数に着目
• 研究成果の社会への貢献
– 様々なP2Pシステムへの対応
– ISPへの提言
• 近傍性の判定に有用になるようなFQDNの利用
2015/10/5
卒業制作最終発表
37
ご清聴ありがとうございました
[email protected]
2015/10/5
卒業制作最終発表
38
参考文献
[1] ISPを取り巻く状況と提案
http://www.soumu.go.jp/joho_tsusin/policyreports/chousa/inte
rnet_policy/pdf/080627_2_si5-2.pdf
2015/10/5
卒業制作最終発表
39