Transcript 存储网络（SAN）教战手册

存储网络（SAN）教战手册
Jason Huang, Jerry Liu
CSE, Data Center
思科SAN产品（MDS）技术优势
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
2
思科SAN产品（MDS）技术优势
1 体系架构
2 VSAN 以及IVR
3 SAN 远程连接
4 FICON
5 Port Channel
6 VMware环境
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
3
1 体系架构优势
Cisco vs. Brocade--两种不同的交换体系架构
Brocade 共享内存交换
Cisco Crossbar 交换
Control,
Scheduling
System
Controller
Ingress
1
2
3
Crossbar
Shared
Memory
…
16
Ingress
Egress
• 简单, 低成本设计
• 保存在缓存种并等待被传输
• 共享缓存的速率是最主要的限制，因为
ASIC的可用缓存空间非常有限
• 访问缓存的过程没有仲裁
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Egress
• 提供了一个极其有弹性的，高容量的交
换体系架构
• 当frame被交换时，会在进端口和出端口
之间建立一个临时的连接
• 使用虚拟输出队列可完全消除阻塞
• 使用仲裁机制实现队列交换预测，优先
级控制以及平等交换
Cisco Confidential
4
1 体系架构优势 － 总结
Cisco MDS
Competitor
具有中央仲裁机制的Crossbar架构
没有中央仲裁机制，基于共享内存，
交换机内部即为级联模式
可预知的，无阻塞的线速交换
不可预知的，易于发生阻塞，非线速
交换
Buffer-to-buffer
credits
大，意味着不易出现Buffer被充满的情
形；同时，交换机级联的距离可以更
远
小，意味着易出现Buffer被充满的情形
，即发生阻塞；同时，交换机级联的
距离近
虚拟输出队列（
VOQ）
针对物理端口划分不同的虚拟输出队
列，避免单一连接的阻塞导致整个端
口阻塞
无此机制，当某一连接发生阻塞时，
会导致整个端口阻塞
针对错误包的处理机
制
当侦测到错误的数据包（例如CRC错
误，无结束标记等），MDS会主动丢
弃错误的数据包，避免其对整个SAN
的影响
无此机制*，导致错误的数据包会扩散
到整个SAN中，占据有限的buffer 资源
，最终导致整个SAN性能下降
中央处理模块故障的
影响
完全的冗余设计，当一块Supervisor板 当一块CP或CR故障时，处理能力下降
故障时，整体性能没有下载
一半，性能下降一半
架构特点
性能、延时
*在Brocade的微码6.4.0b以后，似乎增加了对错误包的处理，但只是限于告警，而非主动的应对机制
关于架构的优势，实战中应以早期引导客户为主，让客户感觉技术的优势，可以辅助一些第三方测试报告，见
backup slides。
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
5
2 VSAN以及IVR
Cisco 虚拟fabric(VSAN),静态隔离整合的fabric
 VSANs, 定义为Virtual Fabrics, 为ANSI
T11 标准
CRM
VSAN
Zoning Server, Name Server
FSPF, Domain Mgr
Role-based Access Controls
• FC-SW-4 and FC-FS-2 specifications
 VSAN可将一个物理SAN分隔成多个虚拟
SAN
VSAN header is removed at egress point
ERP
VSAN
Zoning Server, Name Server
FSPF, Domain Mgr
Role-based Access Controls
 每个VSAN在硬件隔离的情况下可以有独
立的Fabric服务
– Zoning Server with separate zone sets
– Name Server
– Domain Manager
Enhanced ISL (EISL) Trunk carries tagged
traffic from multiple VSANs
– Roles-based Access Controls (RBAC)
– Domain IDs
CRM
VSAN
Zoning Server, Name Server
FSPF, Domain Mgr
Role-based Access Controls
 VSAN可以按端口级别分配
VSAN header is added at ingress point
indicating membership
No special support
required by end nodes
Presentation_ID
ERP
VSAN
– FSPF Routing
Zoning Server, Name Server
FSPF, Domain Mgr
Role-based Access Controls
© 2010 Cisco and/or its affiliates. All rights reserved.
 ISL可以承载多个VSAN的流量
 ISL可以指定给某个VSAN专用
Cisco Confidential
6
2 VSAN以及IVR 比较优势(1)
特点
Cisco VSANs
Brocade Virtual Fabrics
支持的交换机
MDS 9100 系列，刀片交换
机，MDS 9200 系列, MDS
9500系列
仅有DCX/DCX-4S, 5300 ，
5100
All Cisco MDS switches
support VSANs 所有的Cisco
MDS交换机支持VSAN
每个交换机的SAN个数
所有平台– 1024
DCX/DCX-4S – 8
5300 – 4
5100 – 3
Cisco MDS提供多得多得VSAN
来支持客户的需求
Frame在共享ISL上打标记
是
是 – 带有限制
不支持FICON, 虚拟Fabric
路由, McDATA互连 ,
ICL 端口, FC 路由边
缘交换机， GbE FCIP
端口
Cisco MDS 不会增加任何强制
的限制来部署VSAN，在整个
fabric种
FICON 支持
是
Yes – 带有限制
每交换机仅支持2个 FICON
虚拟fabric, 不支持
ISL共享
Cisco MDS 不会增加任何强
制限制来部署FICON
隔离虚拟Fabric
是
No
Cisco MDS用一个隔离的VSAN
If a Virtual Fabric is
来放置被删除的VSAN设备
removed假如一个
Virtual Fabric被删除,
所有设备被转移到一个
激活的virtual fabric
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
Cisco MDS 优势
7
2 VSAN以及IVR 比较(2)
特点
Cisco VSANs
Brocade Virtual Fabrics
Cisco MDS 优势
缺省VSAN
是
否
必须手工激活Virtual
Fabric
MDS VSAN是交换机整体的一部
分，不是额外的特性
受限的特性
否
是
以下特性在virtual
fabric被激活时受限制或
不支持:
Admin Domain – 不支持
加密 – 仅在缺省逻辑交
换机中
端口镜像 – 不支持
Traffic Isolation
Zoning – 不支持
Cisco MDS 支持任何NX-OS的
特性，没有限制
VSAN间的路由
是
VSAN间的路由(IVR)可通过
背板从任意端口到任意
端口
是 – 带有限制
Cisco MDS IVR 被内置在交换
需要使用外部端口, SFPs,
机中并可使用整个背板的
virtual fabric和base
带宽
switch之间需要使用外
连线. Requires using
line card需要使用端
口板上的端口(每个连
接4个)来连接virtual
fabric. 假如需要更多
带宽，则需要使用更多
的端口(需要4个8G端口)
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
8
3 SAN 远程连接
SAN远程连接技术
FC over DWDM/CWDM
• 同城范围内的灾备
Local
Datacenter
• 基于裸光纤
• 专用线路
• 低延时，适合同步数据
复制的灾备
FC over SONET/SDH
• 中距离的灾备
Dark Fiber
Short distance ~ <= 100km
Local
Datacenter
• 通常用于异地灾备
SAN
Local
Datacenter
Remote
Datacenter
IP Routed
WAN
SAN
• 通常用于异步数据复制
的灾备
Presentation_ID
SAN
Medium distance ~ <= 160km
• 不能采用裸光纤的情形
• 传输链路可能是共享的
Remote
Datacenter
SONET
• 适合大多数数据复制环
境
FC and FICON over IP
SAN
SAN
• 不能采用裸光纤的情形
• 传输链路可能是共享的
Remote
Datacenter
SAN
Short – Long distance
© 2010 Cisco and/or its affiliates. All rights reserved.
0 - 5000+ km
Cisco Confidential
9
3 SAN远程连接的优势
 思科可以提供完整的远程SAN连接方案，包括SAN，DWDM，SONET和IP，技术融
合更好
• 相对来说博科需要和第三方合作，才能提供完整的方案。实施中，难于统一协调各方配置；出现问题后，
容易互相推诿。
 MDS本身即有CWDM和DWDM模块，集成度高，降低用户的整体方案成本
• 博科本身不提供CWDM和DWDM模块
 端口的Buffer 更大，即意味着在相同传输速率下，连接的距离更远
• 思科最大为5590，相比较博科为1292
 思科的FCIP方案集成了硬件压缩和优化的TCP处理技术，传输效率更高，通常可以
达到4:1（相比较博科通常为2:1）；同时，FCIP还具有数据加密功能，保证异地数
据传输的安全
 支持多块卡的FCIP端口捆绑，而不需额外的软件许可费用
• 博科只能支持单一板卡的多FCIP端口捆绑，不具备高可用性
• 博科如果需要多端口捆绑，则需要单独的Trunking License
 针对复制的优化技术，例如IOA等，在特定的灾备方案中，极大提高传输效率
• 博科没有相应的优化
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
10
4 FICON
思科MDS是替代原有FICON Director的首选
49
0D
1C
32
49
FICON Director
08
26
55
6A
FICON
FICON
FICON
Mainframe
Storage
FICON
NO IOCDS
Changes!
0D
1C
32
49
49
08
26
55
6A
FICON
FICON
Mainframe
Storage
MDS
1. MDS从设计初即支持FICON连接
2. MDS的无阻塞架构保证了IBM主机系统对I/O的低延时要求
3. MDS的虚拟SAN技术，可以很好地隔离各FICON连接，使得生产、开发/测试互
不干扰
4. 从原有的FICON Director迁移到MDS环境，原有主机的IOCDS定义无需修改，可
以在MDS上配置与原有FICON Director相同的端口地址
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
11
4 FICON环境中的优势
 MDS是成熟的FICON产品，可以支持最新的zHPF
 MDS架构的无阻塞优势，更好地满足IBM主机系统对I/O低延时的要求
• 博科的交换机在跨ASIC交换时，时延极大地增加且无保障
• MDS的VSAN技术优势，可以很好地隔离客户的生产和开发/测试环境
，降低成本
• 相对来说，博科的LSAN技术有很大的限制
• MDS可以灵活地支持多种远程SAN连接方案，对于远程传输有极大的
优化
• MDS针对IBM的XRC（基于主机复制的远程灾备方案，目前四大商业
银行均采用此方案），有极大的优化
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
12
5 PortChannels vs. Trunking
 MDS
PortChannels
Cisco
 不同的ASIC
 不同的端口组
 PortChannel允许最多16个连接
多个故障域提供了高可用性
Brocade
 同一板卡
 DCX
Trunking
 同一 ASIC
 同一端口组
 Trunk 只允许最多8个ISL
同一个故障域并不支持高可用性
在实战中，明确支持基于不同板卡形成级联链路的捆绑，以保证高可用性。另外，从性能上考虑，需
要支持最大16条线路的级联链路捆绑。
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
13
5 PortChannel的优势
 PortChannel有更高的可靠性和灵活性
－ 分布在不同板卡，不同端口组上
 PortChannel有更高的适用性
－ 无master/slave 概念，可适用于IVR链路
• 更高的聚合带宽
－ 16 x 10G vs 8 x 8G
 更好的长距离性能
 免费提供
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
14
6 VMware环境优势
 提供可预测的，稳定的运行速率
 可提供VM层面的VSAN和IVR
 VM层面的QoS
 VM层面的安全访问控制
 VM层面的距离延伸（通过FC或FCIP)
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
15
思科SAN产品（MDS）应用场景
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
16
思科SAN产品（MDS）应用场景
1 SAN 整合/核心－边缘体系结构
2 灾难备份
3 FICON环境
4 VMware应用环境
5 存储加密(SME)
6 数据迁移(DMM)
7 SAN 安全管理
8 智能存储应用(SANTap)
9 FCoE应用环境
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
17
Industry
First!
SAN的整合与资源共享
基于应用或部门的SAN孤岛
部门一的VSAN
Cisco MDS
9000 Family
部门一的SAN
在VSAN间
建立统一的
存储资源
共享池
部门二的SAN
部门二的VSAN
部门三的VSAN
Collapsed Fabric with
VSANs
部门三的SAN
 独立的物理SAN，存储难以在部门间共享
 统一的物理SAN，存储易于在部门间共享
 每个物理SAN需要配置独立的冗余端口，成本高
 统一规划冗余端口配置，降低成本
 需要管理的交换机数量多，管理工作量大
 所需管理的交换机数量少，管理工作量小
 各个SAN端口不能迁移
 端口可以方便地在VSAN间迁移，易于调整与配置
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
18
灾备方案的SAN环境
 采用基于磁盘复制的灾备方案，往
往都是在实现了存储整合的基础上，
即实现了业务处理、数据的大集中
Sales
SAN
 生产数据采用基于磁盘复制的灾备
方式，例如EMC/SRDF，HDS/UR，
IBM/MM、GM等
 客户可以按照需要，选择两中心灾
备模式，两地三中心高可用灾备模
式，或多中心高可用灾备模式
 对SAN的要求是实现Fiber Channel
（FC）的远程传输，以实现SAN的
同城、异地连接，保证数据复制
HR
SAN
Marketing
SAN
利用思科的VSAN及
IVR，将生产环境与
灾备环境相连接，但
避免异地SAN融合
SAN
Extension
Services
 选择同城、异地的数据复制，决定
于客户的应用对灾备目标的选择以
及对远程数据复制时延的忍受程度
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
19
大规模的SAN网络设计模式
方案特点：
 整体架构采用核心－边缘的设计，核心与
边缘之间采用多路的高可用Port Channel连
接，保证性能与高可用性。
存储设备
磁盘阵列
 整体架构的扩展能力强，核心建议采用
MDS 9513，其本身的扩展能力非常强，单
台可以提供528端口的连接。边缘配置灵活，
可以从MDS全系列中按需选择。
16
16
16
16
16
16
16
16
服务器：
双链接到冗
余的交换机
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
 存储设备连接到核心层面，提供给服务器
的共享存储，可以满足不同部门共享存储
的需求。
 服务器遵循高可用性的设计原则，对称连
接到冗余的边缘交换机上。
 MDS的VSAN功能可以很好地实现对不同
虚拟存储网络的隔离，可以隔离生产与办
公、开发、测试等环境；同时帮助客户更
有效地利用存储，可以很快地帮助客户复
制生产环境的数据到开发、测试环境。
Cisco Confidential
20
使用集成FICON over FCIP实现灵活的远程访问和数据复制
 Cisco的技术简化了业务连续性
Remote
Sites
 适合各距离要求的解决方案
CWDM SFPs
DWDM 及 SONET 光产品
MDS 9000 IP存储服务板卡
MDS 9000
CWDM
DWDM/SONET
Backup
Servers
MDS 9000
MDS
9509
FCIP
跨越全球的距离
IPS-8
IP
网络
IPS-8
MDS 9000
Corporate HQ
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
21
中国建设银行
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
22
中国建设银行
方案特点：
 超大型SAN 网络设计和部署
 洋桥数据中心采用双fabric, 每fabric双核心-边缘体系架构，最大限度的提升系统可用性和可扩
展性
 MDS9513无阻塞的体系架构保证作为SAN核心提供最优的业务性能
 MDS 9513高端口密度和高带宽保证了各楼层机房与核心之间互连有足够的冗余性和带宽
 洋桥核心MDS9513仅用来连接各楼层机房和亦庄机房的边缘SAN交换机，不连接任何设备
 经过计算的超载比优化系统端口的分布和PortChannel的利用率
 VSAN的应用将多个业务清晰的隔离并可对不同业务实施不同的管理策略
 洋桥与亦庄机房全部SAN交换机，以及中间的链路DWDM连接设备全部由Cisco提供，为客户
提供了全局的解决方案
 架构支持未来FCoE设备的连接
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
23
针对客户现有第三方SAN环境的策略和切入点
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
24
策略一：先渗透，再迁移
 整体上，建议客户从进一步SAN整合入手考虑设计，从架构优势和整
体方案上，介绍思科SAN方案的优势。
 在过度阶段，有可能出现与第三方SAN共存的阶段。在设计上，尽量
采用双SAN架构的设计，即思科SAN与第三方SAN各自独立，这样，
即避免了兼容性的问题，又可以相互备份。
 在上述方案的基础上，逐步扩大思科SAN环境。第一步将新的系统接
入到思科SAN环境，让客户初步尝试思科SAN的好处；第二步将现有
的一些核心业务迁移到思科SAN环境中；最终完成所有核心生产系统
的迁移。这样，能充分发挥思科SAN的优势，让客户满意。
 思科有相关的服务部门提供SAN迁移的服务。
• 在博科FOS 6.4.0后，博科封闭了对第三方SAN交换机的连接！这意味
着客户选择博科，那么将被迫与博科的未来绑定，这及其不符合开放
市场竞争的原则，希望客户慎重考虑。
• 相对来说，思科的SAN交换机设计更符合开放的标准，可以给客户更
多的选择。
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
25
策略二：灾备与生产独立建设
 在客户建立生产中心的SAN环境，同时考虑到灾备中心的建设时；或
客户稍后考虑灾备中心建设时，是思科SAN很好的切入点。
 一般情况下，灾备中心的SAN环境可以独立于生产中心的SAN环境，
可以在灾备中心让客户采用思科的SAN方案，这样，避免了兼容性问
题。
 同时，可以向客户推荐思科的远程SAN连接方案，作为整体灾备方案
的一部分。此远程SAN连接方案，尽量只涉及存储之间或服务器与存
储之间的连接，这样也避免了与第三方SAN的兼容性问题。
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
26
MDS 在国内的主要客户
SP:
FSI:
 中国移动(16省)
 中国联通(10省)
 中国电信(14省)
Government and
Enterprise:
 中国银行
 中国人民保险公司
 中国建设银行
 中国人寿
 中国农业银行
 上海证交所
 中国人民银行
 国泰君安证券
 铁道部
 CCTV
 交通银行
 中信证券
 国家电网
 青岛海尔
 招商银行
 海通证券
 部分省公安厅／局
 一汽大众
 民生银行
 部分省财政厅／局
 上海汽车
 华夏银行
 国税总局
 东风汽车
 中信银行
 部分地方税务局
 首都机场
 广发银行
 浦东机场
 中国银联
 广发银行
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
27
MDS 9000系列产品中国区联系人
Name
Title
Phone
E-mail
王放
PSS
(010) 85155880
[email protected]
13331017637
刘劲春（Jerry)
CSE
(010) 85077868
[email protected]
13801222962
黄大川
DC Architect
(010) 85155957
[email protected]
13701269364
黄学军（Jason)
CSE
(010) 8515 5822
[email protected]
13910330200
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
28
Backup slides
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
29
8Gb环境下的性能测试
 Miercom 测试
Brocade DCX 带有2块32端口板，16个单一方向数据流，
1个8G数据流，31个4G数据流
 Miercom 报告
“Cisco MDS 可以通过所有混合速率环境的的测试，但是在某些条件下，
Brocade却显示出一定的性能下降，最多高达50％！当31个端口并发混
合速率4G模式被应用时，一个8-Gbps连接的吞吐量从840-Gbps降低到
420-Gbps。
DCX 是有阻塞的交换机
8G只能达到4G的传输带宽.
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
30
Cisco MDS与Brocade本地交换的对比测试（1）
Cisco测试结果
 混合数据流，8个
initiator, 1个target
测试:
 每个initiator应该有
105MB带宽到target
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47
2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48
结果:
SANtester 有固定的，随机的和增
加的OXID队列
任何流量都不受影响 – 一致的公
平的性能
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
数据流
吞吐量
时延
Port 3 to Port 1
105 MB
12 us
Port 9 to Port 1
105 MB
14 us
Port 15 to Port 1
105 MB
12 us
Port 21 to Port 1
105 MB
14 us
Port 27 to Port 1
105 MB
15 us
Port 33 to Port 1
105 MB
15 us
Port 39 to Port 1
105 MB
13 us
Port 45 to Port 1
105 MB
16 us
Total to Port 1
840 MB
Cisco Confidential
31
Cisco MDS与Brocade本地交换的对比测试（2）
Brocade测试结果
27 31
8 x 8G
unused
26 30
25 29 8 x 8G
 混合流量从4个
initiator到1个target
 每个initiator应该得
到210MB的带宽
15
14
13
12
11
10
9
8
7
6
5
4
3
2
1
0
31
30
29
28
27
26
25
24
23
22
21
20
19
18
17
16
Traffic Flows:
端口15到端口31 – 本地交换
端口30到端口31 － 本地交换
端口7到端口31 － 背板交换
端口23到端口31 － 背板交换
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
24 28
Condor 2
ASIC
11 15 8 x 8G
(40 x 4G)
10 14
9 13
8 12
19 23
8 x 8G
unused
18 22
17 21 8 x 8G
16 20
3
7
2
6
1
5
0
4
Condor 2
ASIC
8 x 8G
(40 x 4G)
32
Cisco MDS与Brocade本地交换的对比测试（3）
Brocade测试结果
SANtester 使用随机OXID队列
本地交换流量受到影响
SANtester 使用固定OXID队列
本地交换不受影响
Flow
Throughput
Latency
Port 30 to Port 31
110 MB
154 us
Port 15 to Port 31
110 MB
154 us
Port 23 to Port 31
310 MB
383 us
Port 7 to Port 31
310 MB
383 us
Total to Port 31
840 MB
Flow
Throughput
Latency
Port 30 to Port 31
240 MB
69 us
Port 15 to Port 31
240 MB
69 us
Port 23 to Port 31
180 MB
230 us
Port 7 to Port 31
180 MB
230 us
Total to Port 31
840 MB
Brocade本地交换或非本地交换都无法实现线
速，且相互干扰
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
33
Brocade DCX 并不阻止损坏的数据
 沉默的数据损坏总是会发生的，这对业务来讲是灾难性的
 DCX在SAN中转发损坏的帧
 这将导致
消耗故障排除的时间和精力
偶尔发生的性能问题必须要追踪数据损坏
 Cisco MDS检测并丢弃损坏的帧，防止fabric阻塞和数据损坏，并可
根据事先定义好的阈值关闭损坏的端口
Frame with bad CRC…
is forwarded through DCX
FC Frame
FC Frame
Bad CRC
Bad CRC
*Data Corruption at Netflix:
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
http://blog.netflix.com/2008/08/shipping-delay-recap.html
34
坏帧测试(1)
 Brocade交换机向全fabric转发有CRC错误的帧
 Brocade交换机依赖于相连的设备来丢弃收到的坏帧
 Brocade交换机对进入fabric的坏帧没有保护机制，这个坏帧可能来自：
一个损坏的HBA卡
一个损坏的SFP模块
一条损坏的线缆
 客户为什么要接受这样的处理方式？
Cisco MDS 会自动丢弃损坏的帧
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
35
坏帧测试(2)
Initiator 101/1
Initiator 101/2
Initiator 101/3
Initiator 101/4
Target 102/1
48000
Initiator 201/1
Initiator 201/2
Initiator 201/3
Initiator 201/4
Target 202/1
DCX
Initiator 301/1
Initiator 301/2
Initiator 301/3
Initiator 301/4
Target 302/1
9509
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
36
坏帧测试(3)
Initiator x01/1
Initiator x01/2
Initiator x01/3
Initiator x01/4
Initiator x01/1 - 没有错误
Initiator x01/2 - 没有错误
Target x02/1
Initiator x01/3 - CRC错误
Initiator x01/4 - 丢弃帧尾
交换机
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
37
坏帧测试(4)
48000
DCX
MDS 9509
Presentation_ID
Initiator
错误
结果
Initiator 101/1
无错误
Passed frames 传输帧
Initiator 101/2
无错误
Passed frames传输帧
Initiator 101/3
CRC 错误
Passed all frames 传输所有帧
Initiator 101/4
丢弃帧尾
Passed all frames传输所有帧
Initiator 201/1
无错误
Passed frames 传输帧
Initiator 201/2
无错误
Passed frames 传输帧
Initiator 201/3
CRC 错误
Passed all frames 传输所有帧
Initiator 201/4
丢弃帧尾
Passed all frames 传输所有帧
Initiator 301/1
无错误
Passed frames 传输帧
Initiator 301/2
无错误
Passed frames传输帧
Initiator 301/3
CRC 错误
丢掉所有帧 －当到达阈值时关闭端口
Initiator 301/4
丢弃帧尾
丢掉所有帧 －当到达阈值时关闭端口
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
38
Port Channel 测试 (1)
测试环境
服务器
IBM p Server
配置两块HBA卡
操作系统版本：AIX 5.3 TL 11
存储
EMC symmetric
主机上配合EMC的Powerpath多路径软件
交换机
Cisco MDS 9509 和MDS 9513各一台，配置FC模块
拓扑结构
Single Fabric
HBA 1
HBA 2
Dual Fabric
2,5
2,7
MDS9509
2,1
2,1
2,2
2,7
1,1
Storage
port 1
HBA 1
1,3
Storage
Port 2
HBA 2
2,5
MDS9513
MDS9509
2,1
2,1
2,2
2,7
1,2
1,1
Storage
Port 1
1,3
Storage
Port 2
MDS9513
VSAN 2 : MDS9509 2/5, MDS9513 1/1
VSAN 2 : MDS9509 2/5, MDS9513 1/1
VSAN 3 : MDS9509 2/7, MDS9513 1/3
VSAN 3 : MDS9513 1/2, MDS9513 1/3
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
39
Port Channel Test (2)
测试方法
通过SMIT在其上创建的ciscovg，然后创建了两个文件系统。在其中一个文件系统（源文件系统）
中预先拷贝了11GB 左右的文件。在测试中，通过cp的方式，将这些文件拷贝到另一文件系统
（目标文件系统），来模拟应用系统的并发 的读写I/O。
在测试中，通过在服务器上的iostat命令查看HBA卡和磁盘的I/O状况。
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
40
Port Channel Test (3)
测试结果
1
测试步骤
Shutdown fc2/2
2
30秒钟后，恢复 fc
2/2到no shutdown状
态
3
30秒钟后，shutdown
fc 2/1
4
30秒钟后，恢复 fc
2/1到no shutdown状
态
服务器I/O的表现
服务器I/O没有中断，Powerpath
显示到磁盘的两条通路都是
Active
服务器I/O没有中断，Powerpath
显示到磁盘的两条通路都是
Active
服务器I/O没有中断，Powerpath
显示到磁盘的两条通路都是
Active
服务器I/O没有中断，Powerpath
显示到磁盘的两条通路都是
Active
交换机端口表现
从DM中看到，Fc2/2端口立
即变为shutdown状态，没
有I/O流量
从DM中看到，Fc2/2端口立
即变为Active状态，3秒钟
左右即重新加入到port
channel 中，I/O流量恢复
从DM中看到，Fc2/1端口立
即变为shutdown状态，没
有I/O流量
从DM中看到，Fc2/1端口立
即变为Active状态，3秒钟
左右即重新加入到port
channel 中，I/O流量恢复
结论
从以上的测试过程中，思科的MDS交换机在级联的配置下，级联链路可以很好
的负载分担流量。当级联链路发生故障时，对于主机的I/O没有影响。同时，级
联链路在配置了port channel或没有配置port channel的情况下，均可以自动分
配流量到剩余的级联链路上，很好地实现了负载分担和高可用性。
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
41
DCX 高可用性测试－使用Oracle测试脚本
 Oracle数据库性能测试，使用HammerOra提供测试流量（
http://hammerora.sourceforge.net）
- 两台Win 2003服务器 (8G HBAs)
- 两台SATAbeast存储阵列 (双 4G 端口)
- 每台服务器的I/O负载都很轻:
- 5MB/s (小于8G的1％)
- 60% 读和40% 写
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
42
MDS 高可用性测试结果 - Oracle 数据库流量
9513 FAB-2(交换板）下电，
拔出，插入，再上电
No impact to traffic
9509主动引擎板带电拔出
No impact to traffic
9509 引擎板插入，上电
No impact to traffic
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
43
DCX 高可用性测试 - Oracle 数据库流量
DCX CR8 交换板下电
应用流量停顿30－35秒！
DCX CR8 上电. 当自检完成
后进入在线状态时
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
44
结论
 Brocade 交换机无法很好处理不同速率的混合环境，尤其是在SAN
上出现非常低速的设备时，Cisco MDS无此问题
 Brocade 交换机无法很好处理坏帧，Cisco MDS无此问题
 Brocade 交换机无法提供恒定的性能，尤其是当出现端口阻塞时.
 Trunk中有物理链路不稳定时，Brocade 交换机会导致IO Hung。
Cisco MDS无此问题
都是架构惹的祸
*Data Corruption at Netflix:
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
http://blog.netflix.com/2008/08/shipping-delay-recap.html
45
Presentation_ID
© 2010 Cisco and/or its affiliates. All rights reserved.
Cisco Confidential
46