非代表スイッチ - 名古屋工業大学
Download
Report
Transcript 非代表スイッチ - 名古屋工業大学
マルチテナントデータセンタにおける
ブロードキャスト最適化の一検討
〇松尾 圭佑† 川島 龍太† 松尾 啓志†
† 名古屋工業大学大学院
2015/07/16
IN研究会
研究目標
研究目標
• 仮想ネットワーク上でのブロードキャスト、マルチ
キャスト通信の実現
IPマルチキャストは使用しない
提案手法
• ユニキャスト化したパケットにトポロジ情報を付加
1
発表の流れ
1. 研究背景
• マルチテナント型データセンタ
• ブロードキャスト、マルチキャストのサービス例
2. 関連研究
• IPマルチキャスト
• ユニキャスト変換手法
3. 提案手法
4. 性能評価
2
マルチテナント型データセンタ
3
オーバレイ方式によるネットワーク仮想化
• テナントごとに専用の仮想ネットワークを提供
VM
テナントA
VM
VM
仮想ネットワーク
テナントB
VM
VM
物理ネットワーク
VM
VM
テナントC
VM
VM
仮想ネットワーク上でのブロードキャストの問題点
VM VM
VM VM
VM VM
VM VM
VM VM
VM VM
VM VM
4
VM VM
物理スイッチ
不要なパケットの発生による通信帯域の圧迫
仮想スイッチ
VM VM
VM VM
VM VM
VM VM
VM VM
VM VM
VM VM
VM VM
sender
物理マシン
既存のデータセンタの現状
Amazon VPC, Microsoft Azure
• ブロードキャスト、マルチキャストを非サポート
IBM SoftLayer
• ブロードキャスト、マルチキャストをサポート
非オーバレイ方式
VMware NSX, midokura midonet
• ブロードキャスト、マルチキャストをサポート
必要に応じてパケットを複製し各宛先にユニキャストで送信
5
仮想ネットワーク上でのブロードキャストの用途
ブロードキャストが使えないと．．．
ARPによるアドレス解決できない
DHCPサーバが運用できない
6
仮想ネットワーク上でのマルチキャストの用途
ルーティングプロトコル
• OSPF
仮想ネットワークの大規模化
サーバやネットワーク機器のHigh Availability
• VRRP
ルータの冗長化
ネームサービスシステム
• マルチキャストDNS
7
関連研究
8
特定テナントのVM群にのみBUMトラヒック配送
物理ネットワーク上でのIPマルチキャストの利用†1
Request/Reply型のプロトコル(ARPなど)の最適化†2
汎用ブロードキャストの最適化†3
†1 M. Mahalingam, D. Dutt, K. Duda, P. Agarwal, L. Kreeger, T. Sridhar, M. Bursell, and C. Wright, \Virtual eXtensible Local Area
Network (VXLAN): A Framework for Overlay-ing Virtualized Layer 2 Networks over Layer 3 Networks". RFC 7348, 2014.
†2 ヴイエムウェア株式会社，”詳解 Vmware NSX “．株式会社インプレス, 2014．
†3 伊勢幸一，浅羽登志也，高添修，小松康二，”SDN の実践技術 “．株式会社インプレス, 2013．
IPマルチキャスト
9
VXLAN
• 仮想ネットワーク上でブロードキャスト
物理ネットワークではIPマルチキャストを利用
VM
VM
VM
VM
VM
VM
VM
マルチキャストグループ1
VM
VM
VM
マルチキャストグループ2
VM
VM
VM
VM VM
VM
マルチキャストグループ3
IPマルチキャスト対応のルータやL3スイッチが必要
マルチキャストグループの構築がオーバヘッド
Request/Reply型プロトコルの最適化
10
OpenFlow Controller
ARP
DHCP…
ARP Req.
VM VM
VM VM
VM VM
VM VM
VM VM
VM VM
VM VM
VM VM
sender
特定のプロトコルにしか対応できない
汎用ブロードキャストの最適化
11
OFC
: 専用サーバ
混雑
混雑
VM VM
VM VM
VM VM
VM VM
VM VM
VM VM
VM VM
VM VM
sender
常にコントローラと同期する必要
専用サーバ付近やネットワーク上流が混雑
提案手法
OpenFlow拡張によるブロードキャスト最適化
• 仮想スイッチのグループ化
• ユニキャスト化
• パケットにトポロジ情報を付与
12
提案手法の概要
13
: 代表スイッチ
トポロジ情報抽出
OFC
代表スイッチ宛
パケット作成
Group1
VM VM
VM VM
Group2
VM VM
VM VM
Group3
VM VM
VM VM
Group4
VM VM
VM VM
sender
トポロジ情報を埋め込んだパケット作成
各仮想スイッチは必要に応じてパケットの複製・転送
仮想スイッチのグループ化
14
ネットワーク上の距離を考慮して分割
• サーバラック単位
Group1
代表スイッチ
代表スイッチを選出
• フローごとに変更可能
仮想スイッチの負荷分散
サーバラック
サーバ1
サーバ2
サーバ3
サーバ4
サーバ 5
トポロジ情報の取得
15
OFC
: 代表スイッチ
トポロジ情報取得
Group1
VM VM
VM VM
Group2
VM VM
VM VM
Group3
VM VM
VM VM
Group4
VM VM
VM VM
sender
トポロジ情報を埋め込んだパケット作成
各仮想スイッチは必要に応じてパケットの複製・転送
トポロジ情報の取得
16
OpenFlowベンダ拡張メッセージを利用
Database
ネットワークトポロジ
物理サーバのアドレス
スイッチのポート情報
VMの所属サーバ、アドレス
所属テナント情報
dl_dst = ff:ff:ff:ff:ff:ff
Actions = CONTROLLER
OFPT_PACKET_IN
OFPT_VENDOR
OFC
テナントID, 使用IPバージョン
IPアドレス, MACアドレス, 送出ポート番号
VM
VM
代表スイッチにユニキャスト
17
OFC
: 代表スイッチ
代表スイッチ宛
トポロジ情報取得
パケット作成
Group1
VM VM
VM VM
Group2
VM VM
VM VM
Group3
VM VM
VM VM
Group4
VM VM
VM VM
sender
トポロジ情報を埋め込んだパケット作成
各仮想スイッチは必要に応じてパケットの複製・転送
代表スイッチ宛パケットの構成
18
グループ内のトポロジ情報を含んだパケットの作成
• 物理ネットワーク用のヘッダでカプセル化
送信側VM
オリジナルブロードキャスト
Eth
Payload
Eth
Payload
Eth
Payload
送信側仮想スイッチ
物理ネットワーク用のヘッダ
Eth
IP
UDP
Network Topology
受信側VM
グループ内でのパケット配信
19
埋め込まれたトポロジ情報を解析して配送
2
P1
P2
代表スイッチ
Group1
1
VM1
Eth
IP
UDP
非代表スイッチ
VM2
3
VM3
Network Topology
VM4
Eth
Payload
自身のアドレスではない
Total length
Tenant ID
VM1のエントリ
Type
IPP1
MACP1
IPVM1
MACVM1
Output port Num
Type
IPP2
MACP2
IPVM3
MACVM3
Output port Num
VM3のエントリ
メリット・デメリット
メリット
• 特別なハードウェアを使用しない
• 送信側スイッチ付近やネットワーク上流部分の
パケット数削減
• 経路中のネットワーク機器がステートレス
トポロジの変化に柔軟に対応
デメリット
• 転送ホップ数の増加
20
実装
仮想スイッチ
• Open vSwitch 2.3.1
コントローラ
• Floodlight 0.90
ネットワークの作成
• Mininet 2.2.1
21
性能評価
22
専用サーバ方式と比較
• パケット転送遅延
• ネットワークの各リンクにおけるパケット数
評価環境
……
物理スイッチ
H
Floodlight
H
H
H
Mininet
OS
CentOS 6.6 (2.6.32)
OS
CentOS 7.0 (3.10.0)
CPU
Intel® Core™ i3-530 2.93GHz
CPU
Intel® Core™ i5-4400 3.10GHz
Memory 16GB
Memory 16GB
評価トポロジ
23
Floodlight
Br
Br1
H1
H2
H3
Linux Bridge
Open vSwitch
Br2
Br3
Br4
Group1
Group2
Group3
H4
H5
H6
H7
H8
H9
H10
H11
H12
H13
H14
H15
H16
パケット転送遅延の評価
Floodlight
Br1
Br2
Br3
代表スイッチ
H1
H2
24
H3
Br4
非代表スイッチ
H4
H5
H6
H7
H8
H9
H10
H11
H12
H13
H14
H15
H16
Sender
通常 専用サーバ方式
[packets]
ARPの応答時間の比較
提案(代表)
提案(非代表)
100000
• 通常のブロードキャスト
80000
経由オーバヘッドなし
60000
• 専用サーバ方式、提案方式(宛先が代表スイッチ配下)
40000
コントローラ経由
20000
• 提案方式(宛先が非代表スイッチ配下)
0
コントローラ経由、代表スイッチを経由
0 …… 0.4 0.5 0.6 0.7 …… 1.1 1.2 1.3 1.4 1.5 1.6 1.7 [ms]
各リンク別のパケット数の比較
Floodlight
Br1
1
Br2
4
H1
5
H2
25
6
H3
2
3
7
8
H4
H5
12
H6
H7
通常
相対値
3
Br3
13
9 10 11
15 16
H8
H9
H10
専用サーバ方式
19
Br4
14
20
17 18
H11
H12
21
22 23
H13
H14
24 25
H15
H16
提案
各ホストがランダムでブロードキャストを送出
2
1
0
• 各リンクのパケット数を比較
通常のブロードキャスト
③
1 ②2 専用サーバ方式
3 ④4 ⑤5 ⑥6 ⑦7 ⑧8
①
提案手法
⑩
⑪
9 10
11
⑨
⑫
⑬
⑭
⑮
⑯
⑰
⑱
12
13
14
15
16
17
18
非宛先ホストにパケットは流れていない
ネットワーク上流・送信側スイッチ付近のパケット数削減
~ 25
19⑲～㉕
まとめと今後の課題
まとめ
• ユニキャスト化したパケットにトポロジ情報を付加
送信側スイッチ、ネットワーク上流部分でパケット数削減
今後の課題
• 仮想ネットワーク上でのマルチキャストへの対応
• キャッシュ機能
同じフローならコントローラを経由せずに最適化
• ARP等の特定のプロトコルと提案手法のハイブリッド機能
26