Transcript 1 - 企业网(D1Net)

IP以太网络在HPC中的作用
Dell Force10 – 高性能、低时延的IP网络
高性能计算分类
• 大型计算分类
– SMP Supercomputers
– Cluster of SMP Machines/Federation
– Cluster
• Ethernet 可以用在Federation和Cluster中
Ethernet在Federation中的应用
• Federation
– 每个计算节点都是一个强大的
SMP系统
– 为数不多的SMP系统之间通
过万兆以太网设备进行互连
• 典型案例
– NASA COLUMBIA 超算中心
• 20个SMP节点
• 每个节点512个处理器
• 每个节点2个万兆端口
– WCMWF
• 68个SMP节点
• 每个节点32个处理器
• Force10提供高密度的线速
10G/40G/100G交换机
Ethernet在Cluster中的应用
Internet
I/O To Users
(Campus backbone or WAN)
Users
SAN
2 Gigabit
Fiber
15
TByte
Storage
cluster nodes
1
2
3
Fiber
Connect
15
TByte
10
SAN
Management
Interconnect
(node-to-node communication)
User directory
and applications
Ethernet在Cluster中的应用
• I/O to user和Management采用Ethernet已经没有疑
义
• SAN是否采用Ethernet需要根据时延，性能,成本，扩
展能力等综合因素进行考虑
• 主连接是否采用Ethernet需要根据应用类型，或者时
延,性能,成本,扩展能力等综合因素进行考虑
主连接技术
• 主连接技术
– 私有技术
• Myrinet
• Quadrics
• Dolphin
• 其他
– 标准技术
• Infiniband
• Ethernet
• Ethernet在某些应用类型中作为主连接已经没有疑义
– 譬如：地球物理，石油勘探
• Ethernet技术的不断发展，在逐渐缩小和其他技术在
时延和性能方面的差距
– 10G, 100G
– iWARP(TOE, RDMA, OS bypass)
• 采用以太网技术作为主连接，整个网络的维护成本会
大大降低
计算节点主连接
 时延
–传统上，对于端到端时延有严格要求的
（譬如<10us)，以太网并不适合
–紧密耦合的应用需要时延 “as fast as
possible”
–传统上，低时延应用多采用IB，Myrinet
等技术
–HBA万兆网卡+低时延万兆交换机的时
延可以和IB，Myrinet媲美
 即使在今天，某些应用的HPC也大
量采用Ethernet作为计算节点之间
的主连接
–石油天燃气开发的地质勘探计算
“. . . What should
we use for the
interconnect?”
以太网主连接设计的Clos算法
 如果节点数量大于单台交换
机所能支持的最大端口数量
，为了实现无阻塞的网络交
换要求，需要采用CLOS拓扑
结构，或者CBB结构
 这也是为什么高密度线速端
口以太网交换机在Cluster设
计中受青睐的原因所在
8-port switches
8 server nodes
1 switches
4-port switches
8 server nodes
6 switches
6-port switches
18 server nodes
9 switches
18-port switches
18 server nodes
1 switches
基于Ethernet的HPC
 Key Points
– 采用高密度以太网设备，避免复杂的网络设计
– 采用线速板卡，满足应用的高带宽要求
 Force10 Fits
– 全线速板卡
– 高密度端口
– 高效节能
9
基于Ethernet的HPC
 Key Points
– 计算，管理，存储网络统一的Ethernet技术
– 配套技术的不断发展，成熟
– iSCSI
– HBA万兆网卡
– 10G, 40G,100G互连
– FCoE
 Force10 Fits
– 高密度万兆端口：480
– 低时延以太网交换机：300ns
10
Force10产品特点
•
•
•
•
•
•
1G/10G/40G 端口支持
高可靠性
高端口密度
L2/L3线速转发能力
低时延
电源功耗
Force10产品卓越的节能表现
The Tolly Group独立测试报告显示，对希望获得能源之星评级或通过节能措施切实降低电能和
冷却成本的数据中心来说，Force10产品与思科和瞻博相比具有显著优势
Force10 网络公司 — 内部保密信息
CLOS架构设计
Build a
distributed
core fabric
that fits
your needs
Design options
Leaf
Small
Medium
Large
Spine node
S4810
Z9000
Z9000
Leaf node
S4810
S4810
Z9000
4 spine/12 leaf
4 spine/32 leaf
16 spine/32 leaf
10 GbE
40 GbE
40 GbE
Fabric capacity
3.84 Tbps
10.24 Tbps
40.96 Tbps
Available 10GbE
ports
576 @ 3:1
oversubscription
1,536 @ 3:1
oversubscription
2,048
non-blocking
Node count
Fabric interconnect
13
Spine
Confidential
Force10在高性能计算领域的地位
6 of TOP 10 采用Force10
10 of TOP 20 采用Force10
•
世界最快的HPC - RoadRunner使用Force10交换机
•
欧洲最快的HPC - JUGENE使用Force10交换机
•
亚洲最快的HPC – Nebula 使用Force10交换机
新疆地球物理研究所
万兆
千兆
机关千兆子网
油网
10.72.255.47 处理中心6509
192.168.4.110
10.72.34.9/255.255.255.0
VTP client
技服中心6509
LOOPBACK：
OSPF
4510R
10.72.255.45
10.72.36.0/255.255.255.0(机关）
10.72.37.9/255.255.255.128（网络服务器）
10.72.33.0/255.255.255.0 （技服中心)
VTP server 1
Cluster-6509
192.168.4.9
10.72.250.154 /255.255.255.248
ddc_6509
10.72.32.129/255.255.255.128（培训教室）
192.168.25.9/ 255.255.255.0
192.168.11.9 255.255.255.0
192.168.1.9/ 255.255.255.0
VTP SERVER 2
192.168.4.100
192.168.100.0/30
192.168.100.16/30
192.168.100.20/30
192.168.2.9/255.255.255.0
192.168.100.4/30
192.168.100.12/30
处理集群
192.168.100.8/30
10.72.255.46
JS-E1200
Cluster-E1200
10.72.35.9/255.255.255.0
ospf
10.72.37.129/255.255.255.128
(解释服务器预留VLAN)
192.168.32.9/255.255.240.0
10.72.255.48
解释中心千兆子网
新疆地球物理研究所
16
高性能计算案例：辽河油田计算所
10x1GE
port-channel
Forcre10-E1200
10GE
S50-1
10GE
S50-2
Force10-E600
2x1GE
port-channel
GE
C3508
C4006-2
辽河油田高性能计算网络物理连接图
17
4x1GE
port-channel
C4006-1
西地所
©2005 Quantum Corporation.
Company Confidential.
高性能计算—上海超算
Force10 Networks, Inc. -
19
深圳星云
1x10G
2x10G
骨干汇聚
4x10G
S4810
17x10G
10G IO
70x10G
115x10G
E1200i
119x10G
49x10G
84x10G
54x10G
2x10G
E1200i
E600i
E1200i
E600i
E600i
S55
32
65台
13台
37台
29台
32x10
HPC区
32x10
云计算区
16台
隔离区
1台
12台
32x10
电子政务区
S55
3台 1台 32x10
胖节点区
12台
1台
龙芯区
管理区
服务器汇聚
谢谢！