Transcript OceanStor 9000全融合大数据存储系统

OceanStor 9000
融合扩展 高效简单
——专为大数据设计的存储系统
应用不动 性能翻番
数据库闪存加速器
HUAWEI TECHNOLOGIES CO., LTD.
目录
1
知易行难，大数据的挑战
2
打破陈规，华为应对之道
3
行以见效，华为应用实践
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
2
从安吉丽娜·朱莉说起
2013年5月，朱莉在《纽约时报》发表
文章，宣布已接受乳腺切除及乳房再造
手术，患乳腺癌几率恢复至正常水平。
此前，她被检查出携带一种“错误”的
基因—BRCA1，患癌几率为87%，是
普通人的17倍。BRCA1（乳腺癌1号基
因） 是目前所发现的最重要的乳腺癌易
感基因之一。
著名影星安吉丽娜·朱莉
HUAWEI TECHNOLOGIES CO., LTD.
医生利用基因分析技术发现
朱莉患癌的高风险，并提前
采取治疗措施。
Huawei Confidential
3
基因分析的秘密
人/动物/植物
基因序列
分析结果
基因数据应用
基因测序
基因对比
基因保存
数据存储
数据分析
长期保存
基因分析本质：对超大规模基因数据的存储、分析和保存，是典型的大数据处理过程。
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
4
基因分析机构CIO的IT挑战
人/动物/植物
基因序列
分析结果
基因数据应用
基因测序
基因对比
基因保存
数据存储
数据分析
长期保存
测序系统（30台高速测序仪）导入数据需要
24GB/s以上的存储吞吐能力，是传统存储的
12倍。
分析一个人体样本基因，传统HPC集群需要
346小时，大规模Hadoop集群仅需24小时，
不同的分析平台，效率相差14倍。
典型基因分析机构总体数据量超过15PB，年
平均增量超过4PB。
需要高吞吐、高并发的
存储系统
需要快速获取数据价值
的智能分析平台
需要大容量低TCO的归
档介质
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
5
各行业大数据处理过程具有相似性
卫星测绘
数据源
数据导入
油气勘探
中间数据
存储系统
电 信
数据分析
分析系统
金融证券
分析结果
气象科学
数据保存
数据应用
归档系统
如何构建高效的大数据存储架构是CIO面临的共同挑战
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
6
目录
1
知易行难，大数据的挑战
2
打破陈规，华为应对之道
3
行以见效，华为应用实践
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
7
华为全融合应对之道
数据源
数据导入
中间数据
最快的存储系统
数据分析
最高效的分析系统
分析结果
数据保存
最智能的归档系统
数据应用
OceanStor 9000=最快的存储系统+最高效的分析系统+最智能的归档系统
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
8
OceanStor 9000—专为大数据设计的存储系统
OceanStor 9000全融合大数据存储系统
传统割裂的大数据存储架构
存储
数据
装载
存储

归档
数据
迁移
分析
归档
数据被存储、分析、归档等多维度割裂，形成

孤岛难以互通

分析
多种业务应用，免除跨设备数据装载、迁移
数据归档、数据装载、数据激活过程自动化程
度低，数据迁移代价高
HUAWEI TECHNOLOGIES CO., LTD.
融合高效：单一系统融合存储、分析、归档，承载

弹性扩展：平滑扩展至40PB，实测业界最高存储
性能，最大单一文件系统
Huawei Confidential
9
OceanStor 9000大数据存储系统架构
媒体与娱乐
视频监控
HPC
网盘
话单查询
上网行为分析
商业推广
精准营销
应用层
对象
文件
NFS
CIFS
HDFS
数据分析
检索查询
Object
MR/Hbase
SQL
分布式数据库
WushanSQL
企业级Hadoop
FusionInsight Hadoop
分布式文件系统
数据处理层
归档
WushanFS
硬件节点层
Node
Node
Node
Node
Node
Node
Node
Node
Node
Node
Node
Node
Node
Node
Node
Node
Node
Node
Node
Node
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
10
业界最高的存储性能
存储
线性增长，可预测，可获得
性能领先友商3倍+
5,030,264
5 500 000
归档
分析
5,030,264
4 500 000
3 500 000
2,016,450
2 500 000
1 500 000
1,512,784
1,007,611
1,592,334
1,112,705
506,126
500 000
EMC Isilon
NetApp
Avere
Huawei
10 20
节点 节点
40
节点
单位OPS
http://www.spec.org/sfs2008/results/sfs2008.html
OPS 每秒可响应的并发请求数
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
11
100
节点
业界最高的存储性能
5
存储
分析
归档
金融行业：一秒钟可完成45万电子票据的归档，支撑中国1/5人
口的全天银行交易（当前中国人口约13亿）
0
0
万
意
味
着
什
么
？
卫星测绘：一秒完成34523张高清地理图片的存取，2分钟完成
全中国高清地理图片存取
广电行业：同时支持1750个高清电视频道，支撑整个欧洲的高
清频道播出
截止到2012年底，欧洲高清频道的数量已经达到941个
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
12
业界最快的数据查找
归档
分析
存储
比传统文件系统查找效率提升10万倍以上
创新的索引查找
20小时
传统逐级遍历
娱乐
音乐
系统
办公
文档
Word.exe
路径
/娱乐/电影/变形金刚3.avi
/娱乐/音乐/流行/卷珠帘.mp3
…
/娱乐/音乐/流行/时间都去哪儿
了.mp3
….
/
工作
程序
驱动
0.1秒
（以1亿文件为基准）
/
资料
VS
文件
变形金刚.avi
卷珠帘.mp3
…
时间都去哪
儿了.mp3
….
古典
电影
工作
程序
资料
变形金刚3.avi
音乐
系统
流行
驱动
时间都去哪儿了.mp3
卷珠帘.mp3
Sogoupinyin.exe
办公
文档
PPT.exe
Excel.exe
HUAWEI TECHNOLOGIES CO., LTD.
娱乐
Word.exe
Huawei Confidential
古典
变形金刚3.avi
流行
时间都去哪儿了.mp3
卷珠帘.mp3
Sogoupinyin.exe
PPT.exe
Excel.exe
13
电影
高效的企业级Hadoop
FusionInsight
Hadoop
存储
FusionInsight Hadoop
+WushanFS
VS
开源Hadoop
利用率
80%
VS
33%
可靠性
全冗余
VS
NameNode
单点
No.1
VS
弱
分级存储
配额
负载均衡
VS
无
读写性能
企业级特性
HUAWEI TECHNOLOGIES CO., LTD.
归档
分析
Huawei Confidential
14
灵活的数据归档
存储
业界独有的可编程归档策略

SELECT fid, filepath
FROM file_meta_data
WHERE owner = “金庸”
AND type = “小说”
AND compile age < “1970s”
系统内建数据归档，提供灵活的
数据管理能力
（归档金庸在1970年以前创作的小说）
存储区

以存储区和归档区合一替代存储
和归档设备相互独立
归档区

可自行配置，根据策略自动完成
归档及回迁
HUAWEI TECHNOLOGIES CO., LTD.
分析
Huawei Confidential
15
归档
存储
容量
业界最大的扩展能力
分析
归档
系统容量 业界第一
288节点
华为
40PB
…
VS
业界最高
20PB
2倍
(EMC isilon)
扩展能力 业界第一
40PB
容量
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
华为
VS
288个
业界最高
144个
(EMC isilon)
16
2倍
OceanStor 9000硬件体系
• X86硬件体系
• 全分布式架构
• 全IP互联
Performance
Insight node
海量数据检索场景
Performance node
Capacity node
OPS密集型应用场景
高带宽应用场景
Capacity
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
17
全分布式架构，高可靠数据保护
InfoProtector

以热备容量替代专门独立热备盘

以数据重构替代磁盘重构

数据恢复速度1TB/h，是传统
RAID的10倍
+1
+3
HUAWEI TECHNOLOGIES CO., LTD.
+2
+4
Huawei Confidential

减少维护错误，降低误操作风险
传统
RAID5
传统
RAID6
分布式
Erasure Code
硬盘故障
容忍数
1
2
4
1TB 数据
恢复时间
9.5小时
10小时
1小时
18
灵活数据分级，业务“0”影响
InfoTier
SSD
Performance
Node
创建时间
访问时间
文件大小
I/O热度
文件名
I/O次数
修改时间
用户自定义
SAS

数据价值决定存储位置，实
现资源最优配置
SATA
HUAWEI TECHNOLOGIES CO., LTD.
Capacity
Node
Huawei Confidential

数据自由流动，对应用透明

丰富的策略构建精准分级
19
自动负载均衡，无需人工干预
InfoEqualizer
节点吞吐量
CPU利用率
节点连接数
轮询
节点综合负载

多种均衡策略，灵活匹配各种业
务模型

性能自动均衡，容量自动均衡，
消除热点，资源利用最大化
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
20
多种配额策略，灵活空间管理
InfoAllocator
存储
容量配额
100TB
20TB 总经理
员工a
软配额
硬配额
用户配额
目录配额
用户组配额
40TB 财务部
40TB
人事部

10TB
文件数配额
10TB
10TB
员工b
员工c
HUAWEI TECHNOLOGIES CO., LTD.
活分配
10TB
员工d
匹配复杂的“组织架构”，空间灵

Huawei Confidential
多种配额策略，存储空间精打细算
21
优化存储方式，提升检索效率
InfoExplorer
Node 1
应用
文件接口访问数据
Node N
Node 3
•
分布式数据库
NFS/CIFS/POSIX/HDFS/SQL
SQL接口快速检索
Node 2
准实时检索：打通文件系统
与分布式数据库的通道，实
元数据
HUAWEI TECHNOLOGIES CO., LTD.
元数据
元数据
分布式文件系统
立同
索步
引元
数
据
、
建
现基于元数据的快速检索
•
批量/可编程检索接口：支持
SQL规范，利用脚本/函数实
现批量/复杂条件数据检索
Huawei Confidential
22
便捷管理，轻松上手
指示灯
声音
短信
PC
Phone
Pad
HUAWEI TECHNOLOGIES CO., LTD.
Email
物
理
资
源
管
理
逻
辑
资
源
管
理
Huawei Confidential

1套管理软件：存储、分析、归档统一管理

2种系统资源：物理资源和逻辑资源

3类管理终端：PC/Phone/Pad

4种告警方式： E-mail/声音/短信/指示灯
1分钟上手，3分钟熟练
23
OceanStor 9000软件特性汇总
OceanStor 9000
WushanFS
WushanSQL
分布式文件系统
分布式数据库系统
FusionInsight Hadoop
企业版Hadoop系统
InfoTier
InfoEqualizer
InfoAllocator
自动分级存储
负载均衡
空间配额管理
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
InfoExplorer
海量数据检索
24
目录
1
知易行难，大数据的挑战
2
打破陈规，华为应对之道
3
行以见效，华为应用实践
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
25
OceanStor 9000主要应用场景
卫星测绘
气象科学
能源勘探
航空航天
基因测序
科研教育
公共事业
媒体娱乐
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
26
OceanStor 9000助力天文测绘高性能文件存储
客户需求

大规模天文星图模拟计算，10万OPS以上读写速率

海量星图照片分析研究，GB级高速存储带宽支持

根据业务规划，五年内需扩展至22PB总容量
解决方案

一期配置8节点，性能达16万OPS

通过高速互联技术，总带宽5GB/s，最大支持
200GB/s

HUAWEI TECHNOLOGIES CO., LTD.
分布式架构，最大可扩容至288节点，40PB总容量
Huawei Confidential
27
OceanStor 9000应用于金融企业内容管理(ECM)
客户需求
 票据影像、报表等文件存储，要求文件共享服务
 全国38个分行，每年新增数据总量超600TB，要
求保存时间20年，支持在线动态扩容，性能平滑
扩展，避免由于系统升级带来的数据丢失风险
解决方案
 全融合架构，实现数据共享，高效访问
 节点数、性能、容量均可随业务增长灵活扩展，
最大扩容至288节点， 40PB单一文件系统
 针对数据的不同安全级别，实现分级保护
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
28
OceanStor 9000应用于广电集团新闻中心
客户需求
 构建一个大的虚拟化存储资源池，实现资源共享，
按需分配，减少媒资数据在各独立系统之间流动
 要求总带宽13GB/s，总有效存储容量1,246TB，
并能够灵活的对系统性能和容量进行扩容
解决方案
 全分布式架构，全IP互联
 配置30节点（在线存储20节点，归档存储10节点），
最大扩展至288节点， 40PB单一文件系统
 在线存储采用高性能配置，归档存储采用大容量
配置，针对数据的不同类型，实现分级存储
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
29
OceanStor 9000专为大数据设计，化解CIO存储挑战
OceanStor 9000
5,000,000 OPS
288 Nodes
No.1 性能
No.1扩展性
200 GB/S
40 PB
No.1 吞吐量
No.1 容量
融合扩展 高效简单
高清图片存储容
基因分析作业
高清制作工作站
地震资料处理
量提升10倍
时间缩短80%
并发数提升2倍
效率提升50%
航空航天
公共事业
HUAWEI TECHNOLOGIES CO., LTD.
媒体娱乐
Huawei Confidential
能源勘探
30
影像票据归档
每秒45万张
金融证券
Thank you
www.huawei.com
Copyright ©2014 Huawei Technologies Co.,Ltd. All Rights Reserved.
The information contained in this document is for reference purpose only, and is subject to change or withdrawal
according to specific customer requirements and conditions.
©2014 华为技术有限公司版权所有
本资料仅供参考，不构成任何承诺及保证
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
31
实测业界最大单一文件系统
•
单一文件系统，简化管理，避免多个
文件系统使用不均，提升利用率
•
40PB相当于2百万张蓝光DVD（单
盘20GB）的容量，足以存放
2千万部高
清电影
存储大容量集群验证实验室（成都研究所）
HUAWEI TECHNOLOGIES CO., LTD.
•740平方米机房
•288台OceanStor 9000 C节点
•12柜客户端
•8柜跳线
•2柜交换单元
http://enterprise.huawei.com/ilink/cnenterprise/news-event/news/news-list/HW_334742
Huawei Confidential
32
实测业界最大单一文件系统
单一文件目下
容量为
总容量
40000.000TB
40 PB
节点总数
288 个
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
33
便捷管理，轻松上手
简单：无需繁杂配置，轻点鼠标即可！
1.一键导入配置文件
2.自定义集群名称
HUAWEI TECHNOLOGIES CO., LTD.
3.自动配置节点信息
Huawei Confidential
4.部署成功
34
便捷管理，轻松上手
快速：60分钟内超大规模集群！
开始部署 15:28
部署成功 16:14
15:28
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
16:14
35
OceanStor 9000获得业界广泛认可
2013年计算机世界年度产品奖
http://net.zol.com.cn/418/4180585.html
2013年中国信息产业年度最佳存储平台奖
http://news.ccidnet.com/art/945/20131209/5279813_3.html
SNW2013优秀产品奖
http://it.sohu.com/20130628/n380162443.shtml
DOSTOR 存储风云榜—2013大数据存储系统首选品牌
http://www.doit.com.cn/subject/2013itaward/data.html
DOSTOR 存储风云榜—2013 Scale-out系统年度产品
http://www.doit.com.cn/subject/2013itaward/dostor.html
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
36