Transcript 2倍 - Huawei
应用不动 性能翻番 数据库闪存加速器 HUAWEI TECHNOLOGIES CO., LTD. 目录 HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 2 大数据时代已经来临 大型机 个人电脑 互联网 移动互联网 大数据 一个大规模生产、分享和应用数据的时代正在开启…... ——肯尼思·库克耶（《大数据时代》作者 HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 3 从基因分析看大数据 基因测序 基因分析 高 快 分析效率 导入速度 数据共享 数据保存 大 快 保存容量 共享速度 基因分析是对大规模基因数据生产，共享，分析和保存的过程，是典型的大数据处理流程。 HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 4 知易行难，基因分析机构CIO的大数据困局 基因测序 基因样本 基因数据共享 基因数据拷贝 测序仪本地硬盘 基因数据分析 基因数据拷贝 共享NAS存储 Hadoop存储 1. 一份数据存储3次，浪费 空间2/3 2. 一份数据拷贝2次，浪费 时间2倍 基因数据保存 为什么会这样？ 基因保存系统 HUAWEI TECHNOLOGIES CO., LTD. 没有一种存储能完美适应大数据处理各个环节 测序仪本地存储 共享NAS存储 Hadoop存储 快速存取 √ X √ 对接分析 X X √ 数据共享 X √ X Huawei Confidential 5 诸多行业大数据处理过程相似，面临同样的困局 从中分辨率到超高分辨 率，精度提高近100倍， 数据量提升100倍 标清到高清，码率提升 4~8倍，数据量提升10 倍，总容量超过10PB 卫星测绘 数据源 二维到三维，精度提升 数十倍，数据量提升20 倍，效率提升数十倍 媒体娱乐 海量数据 数据共享 HUAWEI TECHNOLOGIES CO., LTD. 每天处理2千万笔交易， 数据保存期不低于15年， 总量超过10PB 能源勘探 金融证券 数据分析 数据保存 Huawei Confidential 6 目录 HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 7 OceanStor 9000 专为大数据设计的存储系统 OceanStor 9000大数据存储系统 华为全融合大数据存储系统 归档区 HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential • 高效的存储与分析融合 • 灵活的存储与归档融合 • 多样的数据类型融合 • 极致的扩展能力 8 融合 高效全融合系统架构 媒体与娱乐 视频监控 HPC 网盘 话单查询 上网行为分析 商业推广 精准营销 应用层 对象 文件 NFS CIFS HDFS 数据分析 检索查询 Object MR/Hbase SQL 分布式数据库 WushanSQL 企业级Hadoop FusionInsight 分布式文件系统 数据处理层 归档 WushanFS 硬件节点层 Node Node Node Node Node Node Node Node Node Node Node Node Node Node Node Node Node Node Node Node HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 9 扩展 融合 存储与分析融合，提升处理效率 数据生产 数据共享 数据分析 导入存储 共享存储 分析存储 拷贝 数据生产 数据共享 数据分析 存储资源池 拷贝 一份数据3次存储，浪费空间67% 一份数据1次存储，节省空间67% 一份数据2次拷贝，浪费时间2倍 一份数据0次拷贝，提升效率2倍 HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 10 扩展 融合 存储与归档融合，简化数据生命周期管理 应用 外置检索系统 存储资源池 内置检索引擎 归档流 存储设备 存储区 归档设备 统一管理，无需独立检索系统， 无需应用层参与 各自管理，需独立检索系统，消耗 应用层资源 HUAWEI TECHNOLOGIES CO., LTD. 归档区 Huawei Confidential 11 扩展 扩展 融合 多种数据类型融合，支持全量数据分析 基因分析，视频分析，行为分析… 详单查询，BI 基因分析，视频分析，行为分析… Hadoop Hadoop SQL 文件 SQL 文件 NFS/CIFS NFS/CIFS 非结构化数据 非结构化 存储 数据库 数据库 不同系统承载不同数据类型，支撑不同分析方式 结构化数据 存储资源池 结构化存储 HUAWEI TECHNOLOGIES CO., LTD. 详单查询，BI 一套系统承载多种数据类型，支撑不同分析方式 Huawei Confidential 12 融合 多重关键技术打造横向扩展能力 自动访问负载均衡，无热点，最大化利用资源 业界唯一的动态子树切割技术，管理海量文件 全IP互联、全分布式的存储架构，构建扩展基石 HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 13 扩展 融合 业界最高的存储性能 单位OPS 5,500,000 5,000,000 4,500,000 4,000,000 3,500,000 3,000,000 2,500,000 2,000,000 1,500,000 1,000,000 500,000 5,030,264 金融行业：一秒钟可完成45万电子票据的归 档，支撑中国建设银行全行每天所有交易的归档 卫星测绘：一秒完成34523张高清地理图片 EMC Isilon 的存取，2分钟完成全中国高清地理图片存取 1,512,784 1,112,705 NetApp Huawei 广电行业：同时支持1750个高清电视频道， 支撑整个欧洲的高清频道播出 OPS 每秒可响应的并发请求数 http://www.spec.org/sfs2008/results/sfs2008.html HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 14 扩展 融合 业界最大的文件系统 石油勘探：中石油东方物探未来4年的数据 总量 基因分析：华大基因未来5年基因分析的数 据总量 实测：288节点/40PB最大文件系统 卫星测绘：国家卫星测绘中心未来6年的数 据总量 链接：http://enterprise.huawei.com/ilink/cnenterprise/newsevent/news/news-list/HW_334742 HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 15 扩展 融合 按需扩展，按需购买 性能 容量 性能容量按需扩展，按需购买 数据均衡分布，消除热点 线性增长，可预期，可获得 堆叠扩展，1分钟完成单节点扩容 HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 16 扩展 便捷管理，轻松上手 HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 1套管理软件：存储、分析、归档统一管理 2种系统资源：物理资源和逻辑资源 3类管理终端：PC/Phone/Pad 4种告警方式： E-mail/声音/短信/指示灯 17 性能 OceanStor 9000 规格简介 海量数据检索场景 OPS密集型应用场景 大容量应用场景 OceanStor 9000 VS 业界同类 最高 No.1性能 500万 OPS 4倍+ 110万 OPS No.1吞吐 200GB/s 2倍 100GB/s No.1容量 40PB 2倍 20PB No.1扩展 288节点 2倍 144节点 No.1缓存 55TB 2倍 28TB 容量 HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 18 目录 HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 19 OceanStor 9000主要应用场景 HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 20 OceanStor 9000助力天文测绘高性能文件存储 HUAWEI TECHNOLOGIES CO., LTD. 大规模天文星图模拟计算，10万OPS以上读写速率 海量星图照片分析研究，GB级高速存储带宽支持 根据业务规划，五年内需扩展至22PB总容量 一期配置8节点，性能达16万OPS 通过高速互联技术，总带宽5GB/s，最大支持200GB/s 分布式架构，最大可扩容至288节点，40PB总容量 Huawei Confidential 21 OceanStor 9000应用于金融企业内容管理(ECM) 票据影像、报表等文件存储，要求文件共享服务 全国38个分行，每年新增数据总量超600TB，要求保存 时间20年，支持在线动态扩容，性能平滑扩展，避免由 于系统升级带来的数据丢失风险 全融合架构，实现数据共享，高效访问 节点数、性能、容量均可随业务增长灵活扩展，最大扩 容至288节点， 40PB单一文件系统 HUAWEI TECHNOLOGIES CO., LTD. 针对数据的不同安全级别，实现分级保护 Huawei Confidential 22 OceanStor 9000应用于广电集团新闻中心 构建一个大的虚拟化存储资源池，实现资源共享，按 需分配，减少媒资数据在各独立系统之间流动 要求总带宽13GB/s，总有效存储容量1,246TB，并 能够灵活的对系统性能和容量进行扩容 全分布式架构，全IP互联 配置30节点（在线存储20节点，归档存储10节点），最大 扩展至288节点， 40PB单一文件系统 在线存储采用高性能配置，归档存储采用大容量配置， 针对数据的不同类型，实现分级存储 HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 23 OceanStor 9000专为大数据设计，化解CIO存储挑战 OceanStor 9000 5,030,264 OPS No.1 性能 288 Nodes No.1扩展性 200 GB/S 40 PB No.1 吞吐量 高清图片存储容量提 升10倍 卫星测绘 No.1 容量 基因分析作业时间缩 短80% 公共事业 HUAWEI TECHNOLOGIES CO., LTD. 高清制作工作站并发 数提升2倍 媒体娱乐 Huawei Confidential 地震资料处理效率提 升50% 影像票据归档每秒 45万张 能源勘探 金融证券 24 Thank you www.huawei.com Copyright ©2014 Huawei Technologies Co.,Ltd. All Rights Reserved. The information contained in this document is for reference purpose only, and is subject to change or withdrawal according to specific customer requirements and conditions. ©2014 华为技术有限公司版权所有 本资料仅供参考，不构成任何承诺及保证 HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 25