Transcript CERNET主干网运行报告 内蒙古高校数字化校园建设研讨会 赛尔网络有限公司 网络运行部

内蒙古高校数字化校园建设研讨会
CERNET主干网运行报告
赛尔网络有限公司
CERNET 网络中心
网络运行部
李信满
2007年11月20日
内蒙古高校数字化校园建设研讨会,2007.11.20
主要内容
• CERNET主干网最新进展
• CERNET主干网络运行状况
内蒙古高校数字化校园建设研讨会,2007.11.20
CERNET骨干网带宽的发展
年份
主干带宽
1994年
64K 专线
1997年
4M 卫星线路
2000年
155M SDH专线
2002年
2.5G DWDM
2004年
2.5G/5G DWDM
2005年
2.5G/5G/10G DWDM
2007年
5G/10G/20G DWDM
从1994年CERNET成立到2006年，主干带宽增加30万倍
内蒙古高校数字化校园建设研讨会,2007.11.20
CERNET 主干网拓朴图
内蒙古高校数字化校园建设研讨会,2007.11.20
国际互联线路升级
US
155Mbps
CERNET
100Mbps
622Mbps
DRAGONTAP
155Mbps
100Mbps
HK
TEIN2
2.5G
TANET
HARNET
2.5Gx2
KOREN
155Mbps
100Mbps
FLAG
APAN
总国际带宽5G多
内蒙古高校数字化校园建设研讨会,2007.11.20
国内互联现状
UNI
CM
CST
GW
…..
1G
北京交换中心
2.5G
CNC
UNI
CST
CRS
etc.
1G+6x155M+600M
1G
1G
3G
北京
CNC
2.5G
CERNET
CT:
UNI:
CNC:
CM:
CST:
CRS:
中国电信
中国联通
中国网通
中国移动
中国科技网
中国铁通
UNI
CT
1G
CM
1G
广州
1G
上海
2G
8x155M+1G
UNI
CT
总国内互联带宽在15G多
内蒙古高校数字化校园建设研讨会,2007.11.20
主干网最新进展综述
• 国际升级
– 1.5G  5G
• 国内互联升级
– 铁通增加1G
– 中国电信增加2G
• CERNET主干升级
– 长春: 2.5G  5G
– 沈阳: 7.5G  10G
– 成都: 7.5G  10G
– 西安: 5G  7.5G
– 南昌: 155M  2.5G
– 石家庄: 155Mx3  2.5G
– 太原: 155Mx3  2.5G
– 乌鲁木齐: 155Mx3  2.5G
– 北京到武汉、武汉到广州第二个10G
内蒙古高校数字化校园建设研讨会,2007.11.20
CERNET主干网现状概述
• 主干网总带宽约450G
– 10G线路：10条
– 2.5G线路：46条
– 155M线路：45条
• 节点带宽情况
– 地区中心全部 >= 10G
– 带宽超过2.5G的节点：28个
– 所有省节点 >= 155M, 除拉萨、西宁、海口外>=2x155M
•
•
•
•
•
•
主干网核心路由器台数：120台
全网主干节点数：38个节点 (36个城市)
网络用户数: 2000万
国际出口带宽：> 4G
国内互联带宽：> 15G
世界最大的国家级学术网，国内前三大互联网
内蒙古高校数字化校园建设研讨会,2007.11.20
CERNET 主干网升级规划(06年3月)
哈尔滨
沈阳
银川
呼和浩特
西宁
长春
北京
乌鲁木齐
兰州
天津
太原
西安
大连
济南
石家庄
郑州
青岛
合肥
南京
成都
上海
昆明
贵阳
武汉
南昌
重庆
拉萨
长沙
杭州
10G
4x2.5G
2x2.5G
2.5G
4x155M
nx155M
南宁
广州
桂林
海口
深圳
厦门
福州
内蒙古高校数字化校园建设研讨会,2007.11.20
CERNET主干网规划
哈尔滨
长春
沈阳
呼和浩特
北京
太原
大连
银川
乌鲁木齐
兰州
天津
石家庄
济南
郑州
西安
西宁
重庆
成都
青岛
武汉
南京
上海
合肥
拉萨
杭州
南昌
贵阳
长沙
桂林
福州
广州
昆明
厦门
南宁
海口
深圳
40G
10G
2.5G
租用
内蒙古高校数字化校园建设研讨会,2007.11.20
NOC短信通知平台
• 由NOC开发，基于Linux/FreeBSD和短信网卡,支持手工及事件、程序触
发的自动发送模式；有Web界面，可实时发送短信，将故障通知的时间由
原来的不确定性固定为7x24小时的实时通知！
• 从2006年4月1日始，主干网的网络故障(发生与恢复)等信息实时发送给38
个节点的NOC技术负责人，便于及时了解、处理网络事件
• 平均每月发出的短信数为2100多条
3500
3000
2500
2000
1500
1000
500
0
4月
5月
6月
7月
8月
9月
10月 11月 12月
内蒙古高校数字化校园建设研讨会,2007.11.20
故障管理系统TTS
• 基于Web界面及MySQL数据库
• 实时记录、跟踪故障产生、处
理、关闭的全过程
• 提供丰富的查询、统计, 报表生
成、打印功能等
内蒙古高校数字化校园建设研讨会,2007.11.20
NOC值班消息中心
• 开发并应用了基于主动报警方式的消息中心
–
–
–
–
–
集中的消息中心，适于值班员处理
可汇集各种消息及告警来源，支持手动、自动方式
支持各种操作系统
主动、丰富的报警方式
即时消息功能
• 故障发现时间大大缩短
内蒙古高校数字化校园建设研讨会,2007.11.20
网络运行异常检测与报警工具
• 网络正常状态描述（baseline）
• 网络异常检测
– 流量异常
– 包数量异常
– 路由异常
– 机房温度异常
– CPU利用率异常
– ……
内蒙古高校数字化校园建设研讨会,2007.11.20
网络性能管理
• 性能管理是网络管理五大功能（FCAPS）之一，网络建
设完成后，除基本的故障管理外，性能管理非常重要
–
–
–
–
–
网络升级规划：何时升级线路和设备等
确保网络可用性和性能
测量和报告网络性能，确保符合SLA和QoS的要求
可以更好地理解、管理网络
对网络进行优化
• 主动网络管理的要求：不能被动地等待问题的发生和用户
的抱怨
内蒙古高校数字化校园建设研讨会,2007.11.20
网络性能管理方法
• 网络性能度量
– 延时、抖动、丢包率、可用率和带宽利用率等
• 性能测试步骤与性能
–
–
–
–
–
数据采集
网络正常行为描述
制定可接受的网络性能阈值
监控，比较与报告
网络调整与性能优化
• 所需的基本技术或工具
– SNMP, sniffer/netflow
– Ping, traceroute, mrtg, iperf, wget etc.
内蒙古高校数字化校园建设研讨会,2007.11.20
延时 (delay/latency)
• 延时=传播延时 + 串行化延时
• 传播延时是信息通过传输介质时产生的延时，每
1000公里光纤增加6ms
– 比如北京到广州的来回距离约5000公里，CERNET主
干网从北京到广州的延时在34ms左右，是正常的
• 串行化延时是信息通过中间设备时产生的延时，通常是由
于设备上的排队、处理和交换引起的，通常小于1ms，但
负担较重的路由器特别是防火墙，串行化延时会较大
• 对网络语音应用较好的延时应小于100ms
• 测量工具：ping/traceroute
内蒙古高校数字化校园建设研讨会,2007.11.20
抖动 (Jitter)
• 延时的变化称为抖动，产生原因：
– 可变的队列长度
– 包经过的路径不同 (如负载均衡等）
• QoS技术的采用可能会产生较大的抖动
• 抖动对大部分应用没有影响，但对多媒体实时应用的影响
较大
• 为了消除网络抖动的影响，通常应用系统需要采用缓冲
（Jitter Buffer）来做平滑
• 对VOIP应用可容忍的抖动范围为20-30ms
• 简单计算：Ping: J1 = abs(t2-t1), J2=abs(t3-t2), ….
内蒙古高校数字化校园建设研讨会,2007.11.20
丢包率
• 丢包产生的原因
– 传输链路或硬件设备引起的CRC错
– 链路拥挤或队列满（tail drop or RED/WRED)
– 路由改变（暂时丢包）或黑洞路由
– 接口故障或路由器故障
– 错误配置的ACL
– ... ...
• 既使1%的丢包，也会对网络应用的性能产生重要影响
• 测量工具：ping
内蒙古高校数字化校园建设研讨会,2007.11.20
带宽利用率
• 决定何时进行线路升级
• 通常商业ISP在线路利用率到达35%时就要升级
• 对CERNET主干网，线路升级的前提是线路利用
率达到70%
• 测量工具: mrtg, snmp, telnet etc
内蒙古高校数字化校园建设研讨会,2007.11.20
网络可用率
•
•
•
•
•
网络可用率=网络可用时间/总时间
是IP层的可达性
99.9%: 一个月的断网时间不能超过45分钟
99.99%: 一个月的断网时间不能超过5分钟
大部分运营商的网络可用率为99.9%，部分可以达到
99.99%
• 通常网络设备的可用率在99.99%以上，链路的可用率在
99.9%以上
• 目前CERNET主干网的平均可用率超过99.9%
内蒙古高校数字化校园建设研讨会,2007.11.20
每秒包数量（PPS）
• PPS对网络设备的性能（如路由器CPU）影响很大，因此
影响网络的延时与抖动等，如Nachi病毒爆发时的情景
• PPS对DOS/DDOS攻击的测量非常简捷
– 通常千兆以太网的PPS可能在10万个包左右
（baseline），如果突然升到20万个，很可能发生了
攻击
• 测试工具：show interface, snmp tools etc.
内蒙古高校数字化校园建设研讨会,2007.11.20
设备CPU与内存
• CPU使用率最好不要超过30%，否则一有攻击时，
设备将变得很脆弱
内蒙古高校数字化校园建设研讨会,2007.11.20
CERNET分布式性能监控系统架构
国家中心
Access
显示
Agent
Core
PoP
PoP
Core
PoP
Core
Core
Access
Access
Access
Agent
……
Agent
Agent
38个节点
内蒙古高校数字化校园建设研讨会,2007.11.20
主干网38个节点延时排序
内蒙古高校数字化校园建设研讨会,2007.11.20
主干网38个节点7609 CPU排序
内蒙古高校数字化校园建设研讨会,2007.11.20
主干网38个节点机房温度排序
内蒙古高校数字化校园建设研讨会,2007.11.20
38节点主干线路利用率排序
内蒙古高校数字化校园建设研讨会,2007.11.20
38节点网络抖动排序
内蒙古高校数字化校园建设研讨会,2007.11.20
38节点网络可用率（4月份）
38节点月平均网络可用率为: 99.98%
内蒙古高校数字化校园建设研讨会,2007.11.20
西安和乌鲁木齐节点带宽利用情况
西安2x2.5G:
乌鲁木齐3x155M:
内蒙古高校数字化校园建设研讨会,2007.11.20
呼和浩特节点主干线路利用情况
流
量
情
况
温
度
情
况
内蒙古高校数字化校园建设研讨会,2007.11.20
SLA和QoS
• SLA: Service Level Agreement, 服务质量协议
• SLA是网络运营商与用户之间签定的协议，SLA
定义了提供的服务质量：包括带宽利用率、延时、
丢包、抖动等
• QoS是SLA在技术方面的体现
商业
技术
SLA
QoS
内蒙古高校数字化校园建设研讨会,2007.11.20
SLA实例: Level 3
延时
丢包
可用率
抖动
带宽保证
内蒙古高校数字化校园建设研讨会,2007.11.20
SLA 实例: Sprintlink
Delay
Packet
loss
Availability
Jitter
North America
55 ms
0.30%
99.90%
2 ms
Europe
44 ms
0.30%
99.90%
2 ms
Asia
105 ms
0.30%
99.90%
2 ms
South pacific
70 ms
0.30%
99.90%
2 ms
Continental US
(Peerless IP)
55ms
0.1%
n/a
2 ms
内蒙古高校数字化校园建设研讨会,2007.11.20
CERNET主干网SLA
SLA参数
网络可用率
指标
> 99.9%
网络延时
< 150ms
网络丢包率
<
0.1%
网络抖动
带宽利用率
<
<
6ms
70%
内蒙古高校数字化校园建设研讨会,2007.11.20
CERNET NOC
• 定义：所有运行维护和管理CERNET网络的工作人员
• 职责：负责运行和管理CERNET主干网、地区网、省级网，确保线路
的畅通，机器、设备的稳定运行，路由的正常管理与维护等，保证整
个网络的稳定、安全可靠和高效地运行。
• 任务：
– 故障管理: 故障的发现、报告、定位及排除
– 配置管理：配置修改、版本控制、保证IP路由正确性
– 性能管理：服务质量保证、网络性能统计与分析、异常流量监控
– 计费管理：netflow/sniffer，基于国际入流量的计费模型
– 安全管理：CCERT，网络攻击及病毒的预防、应急处理
• 组织活动
– 每周38个节点的网络视频会议
– CERNET主干网运行工作会议
内蒙古高校数字化校园建设研讨会,2007.11.20
CERNET NOC组织结构
NOC主管专家
CERNET网络中心NOC
地区中心NOC
地区中心NOC
…… 省主节点NOC
内蒙古高校数字化校园建设研讨会,2007.11.20
CERNET主干节点NOC主任名单
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
北京大学
北京邮电大学
西安交通大学
电子科技大学
华南理工大学
华中科技大学
东南大学
上海交通大学
东北大学
天津大学
河北师范大学
太原理工大学
内蒙古大学
青海师范大学
兰州大学
宁夏大学
新疆大学
重庆大学
王竹威
张晓冬
丁会宁
李育强
叶昭
贺聿志
吴剑章
周子豪
温占考
鹿凯宁
刘宏忠
武江
许智君
黄科军
陈文波
余秀雅
刘胜全
唐学文
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
云南大学
杨勇
贵州大学
高鸿峰
西藏大学
安宝坤
广西师范大学 邓剑锋
广西大学
刘宁
海南师大
刘元鼎
深圳大学
江魁
中南大学
黄家林
郑州大学
陈刚
中国科技大学 张焕杰
山东大学
张健
中国海洋大学 李璐
浙江大学
俞宏知
南昌大学
段小荣
福州大学
赖伟堂
厦门大学
陈晓筹
大连理工大学 于广辉
吉林大学
玄光哲
哈工大
吴刚
内蒙古高校数字化校园建设研讨会,2007.11.20
每周NOC视频会议
内蒙古高校数字化校园建设研讨会,2007.11.20
2007年CERNET主干网运行工作会议
• 2007年6月27至28日在海南三亚举办
• 共36个节点的NOC人员参加会议
• 会议除技术与经验交流外,还对主干网的管理进行了研讨
内蒙古高校数字化校园建设研讨会,2007.11.20
实行主动式网络管理
• 主动式网络管理
– 在用户发现故障之前先发现
– 在用户抱怨之前先解决掉
• 实现主动式网络管理的因素
– 人: 态度、能力、方法
– 工具: 简单实用的网络管理系统（基本自己开发）
 基于WEB，方便访问与管理
 实时报警： 手机短信，语音报警
 精细化管理: 基于流的管理
• 运行人员要求
 PPP (Positive, Persistent, Perfect)
主动积极，坚持不懈，追求卓越！
内蒙古高校数字化校园建设研讨会,2007.11.20
CERNET网络运行中心
• 实行全年不间断网络运行服务和技术支持
–
–
–
–
365×24小时 运行值班
365×24小时 技术主管呼叫响应(24小时手机响应)
热线电话: 010-62784048
Email: [email protected]
• 国家网络中心NOC人员(13人）




初级网络管理人员: 5 (CCNA)
中级网络管理人员: 6 (CCNP)
高级网络管理人员：1 (CCIE)
网络运行主管: 1
内蒙古高校数字化校园建设研讨会,2007.11.20
CERNET网络运行中心
内蒙古高校数字化校园建设研讨会,2007.11.20
最新的科研
•
•
•
•
CERNET2 is Pure IPv6, 全世界唯一
Softwire(IPv4 over IPv6), RFC4925
SAVA,真实源地址体系结构
IVI，IPv4/IPv6无缝访问(stateless end-to-end
translation)
• 用IP地址直接标识用户、服务等
• IPv6网管、应用等
内蒙古高校数字化校园建设研讨会,2007.11.20
谢谢
内蒙古高校数字化校园建设研讨会,2007.11.20