Transcript Oracle Exadata - Oracle APAC Webcasts

通过Oracle GoldenGate实现向Oracle
Exadatade 的零停机迁移: 客户案例分享
2011年12月15日
1
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
日程
•
•
•
•
•
•
Oracle Exadata简介
Oracle GoldenGate 概览
通过GoldenGate实现向Exadata迁移
Oracle Data Integration用于Oracle Exadata
客户案例分享: IQNavigator
Q&A
2
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Oracle Exadata 数据库机
• 最快的 数据仓库及OLTP
• 最低成本，超高性能的 数据仓库及OLTP
• 硬件优化（每机架）
– 处理器：128个因特尔内核，2 TB 内存
– 网络：880 Gb/Sec 吞吐量
– 存储：5 TB 闪存和高达 336 TB 的硬盘
• 规模从¼机架到全部8个机架
3
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Oracle Exadata
• 数据库服务器
– 基于Intel的数据库服务器
– Oracle Linux 或 Solaris 11
– 10 G 以太网 (连接数据中心)
• 存储服务器
– 硬盘高达 336 TB
– 5 TB 闪存存储
– Oracle Exadata 存储软件
• InfiniBand 网络
– 40 Gb/sec InfiniBand
4
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
超高性能和存储效率
• 数据库
– Oracle Database 11g
– Oracle Real Application Clusters
• 存储
– 智能扫描（Smart Scan）
– 混合列压缩
– 智能闪存缓存（Smart Flash Cache）
5
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Exadata 提供最优整合
创建一个“数据库即服务”平台
•存储量大
– 可实现多数据库整合
•超高性能
CRM
ERP
Supply
Chain
6
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
– OLTP，数据仓库，数据挖掘，批处理，报表，加
载，备份，数据库文件
– 加密，压缩
•工作负载管理
– 通过服务器质量（QoS）管理 SLA
– CPU和I/O资源管理
– Instance caging
ORACLE
PRODUCT
LOGO
通过Oracle GoldenGate实现向Oracle Exadatade 的零
停机迁移
7
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
以下内容旨在概述产品总体发展方向。该内容仅供参考，
不可纳入任何合同。该内容不构成提供任何材料、代码或
功能的承诺，并且不应该作为制定购买决策的依据。
Oracle 有权自行决定任何产品的特性或功能的开发、发
布和时间安排。
8
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
日程
•
•
•
•
数据迁移的关键挑战
Oracle GoldenGate概览
通过GoldenGate实现向Exadata迁移
Oracle Data Integration用于Oracle Exadata
9
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
向Exadata 迁移的关键挑战
数据问题
• 实例化数TB/PB的内容
• 临时区域
• 变更管理
• 特殊处理
同步问题
维持SLA
• 持续变更
• 影响收入
• 增量式数据移动
• 客户/合作伙伴预期
• 源数据影响
• 相互依赖，集成
• 故障恢复策略/选项
10
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
最大可用性体系架构
Oracle
GoldenGate
下一代数据集成
11
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
五大步骤实现最高可用性
Oracle GoldenGate
Active
Data Guard
•
数据库故障
•
系统故障
连续时点（PIT）
恢复
•
站点故障
•
零数据丢失
•
修复逻辑损坏
•
自动数据库故障转移
•
事务
•
漏写保护
•
表
•
数据库滚动升级
•
数据库
•
卸载只读工作负载和
备份
•
进行迁移
Flashback
Oracle RAC
ASM,
RMAN,
OSB
•
存储故障
•
数据恢复
•
备份
12
•
实例失败
•
服务器故障
•
RAC rolling维护
•
性能 scale-out
•
合并
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
•
•
零停机升级和迁移
•
在线平台和应用升级
•
双向多主复制
•
分发只读与读写工作负载
•
为站点防护提供了物理复制的另
一种方法
•
灵活规划的维护和异构迁移
Oracle Data Integration
下一代企业级数据集成解决方案
• 任意数据
Oracle GoldenGate
实时
• 弹性架构
• 性能最高的ETL/ELT
Oracle Data Integrator
更易用、更快、更低TCO
• 快速、简单部署
• 清洁并与任意数据匹配
Oracle Enterprise Data
Quality
认可数百种
数据来源
13
提供企业信任的数据
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
认可数百种
目标地
Oracle Data Integrator 11g
实现最快的ETL/E-LT，加快价值实现，降低TCO
Oracle Data Integrator 企业版
原有源
同类最佳的性能和可伸缩性
降低TCO，轻量级部署
应用源
提高可用性和可管理性
异构
OLTP
数据库源
14
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
任何
数据仓库
开放、基于标准
任何
计划系统
GoldenGate: Oracle 战略性产品
• 超过1200家客户， 包括财富500强企业，金融
服务，通讯、医疗、公共机关、零售和公用事业
等多个行业。
 五大商业银行中的4家
 三大最繁忙ATM网络全部部署
 五大财务数据服务公司全部部署
 五大电信运营商全部部署
 五大食品和药品连锁店中的3家
15
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Oracle GoldenGate 11g
低影响、实时数据集成和事务复制
零停机升级&迁移
新数据库/硬件/应用/OS
高可用 /灾难恢复
原资源
完全主动的分布式数据库
Query Offloading,
Disaster Recovery
基于日志，
变更数据
报表数据库
实时BI,
运营报表,MDM
数据库
ODS
Data Integrator
数据仓库
整个企业数据同步
全球数据中心
消息总线
消息总线
16
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
事件驱动架构,
SOA
Oracle GoldenGate 工作原理
捕获:实时读取交易日志，捕获事务数据并可实现过滤。
队列文件: 准备数据，使数据排入队列以备传输。
数据泵:分发数据以便传输至目的地。
传输：数据经过压缩和加密传送到目的地。
提交:保持数据事务完整性，根据需要执行
数据转换。
源（Oracle或
非Oracle）数据库
17
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
双向
目标（Oracle或
非Oracle）数据库
Oracle GoldenGate — 与众不同
高性能
可扩展和灵活
高可靠
18
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
•数据移动亚秒级延迟
•低影响
• 开放式、模块化体系架构架构
• 支持异构源和目标数据库
• 灵活敏捷，适应现代数据集成架构
• 保持事务完整性
• 避免中断或故障
• 进程中断后快速恢复
零停机整合/迁移
解决方案
• 使用Golden Gate在旧数据
库与Exadata之间进行双向
事件复制。
转换
实时更改数据
优点
• 保证业务不因迁移/整合而
中断
• 通过故障恢复选项将风险降
至最低
• 通过逐步迁移促进成功
Oracle, Legacy,
非Oracle 数据库
19
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
故障恢复数据流
Oracle Exadata
日程
•
•
•
•
数据迁移的关键挑战
Oracle GoldenGate 概览
通过GoldenGate实现向Exadata迁移
Oracle Data Integration用于Oracle Exadata
20
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
用于Exadata的数据集成解决方案 - 1
推动OLTP 数据库整合
数据库迁移/整合
•
–
–
–
零停机转换
数据库滚动升级(10g  11g)
主动-主动，阶段性整合
非侵入式，开支最小化
数据仓库设备迁移
• 非Oracle 到 Exadata
与非Oracle设备的连通性
有效的基于工具的解决方案
自动阶段性控制
21
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
向Exadata迁移
使用原生工具从非Oracle设备向Exadata迁移
解决方案
•利用ODI实现来自非Exadata的数据在Exadata数据
模型中建模和映射
•为Netezza、Teradata、DB2/z及DB Utilities提供原
生支持
•GoldenGate 从Teradata 或 DB2 z系列中进行实时
CDC
优点
•基于工具的迁移更具可重复性与自动性
•主动-主动阶段性转换选项
•ODI和GoldenGate 是更易维护的解决方案，它们可
用于长期规划
22
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
用于Exadata的数据集成解决方案 - 2
启动智能数据仓库
数据仓库批量加载
• 成本有效运作
– 没有新 ETL硬件
– 整合监控与管理
– 简单并快速安装
最快的E-LT
– 利用 DBFS w/Exadata SQL
智能扫描进行数据转换
– 针对Exadata优化E-LT
23
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
实时数据仓库升级
• 持续数据更新
– 数据流进入Exadata
– 非侵入式捕捉
– 事务一致性
调整并优化延迟
– 非侵入性，高速
– 微批次 w/DB捕捉
– 增量， Intra-data Feeds
Oracle Data Integration 用于数据仓库
随时将数据导入数据仓库
解决方案
• Oracle GoldenGate 为数据仓库提供基于日志的实时变更数
据捕捉、分发和交付
低影响,
实时变更数据
Oracle GoldenGate
Oracle Data Integrator
支持绝大多数
主流数据库管
理员工具
Oracle
GoldenGate
ODI Agent
批量处理一日
内或每日负载
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
优点
• GoldenGate是非侵入式，不影响源系统
• 使用GoldenGate、CDC Adapters、Triggers或Delta ETL
jobs，ODI 工具可模拟任何时段数据的交付
• 更低成本，数据可按业务要求速度交付
支持绝大多数
主流数据仓库
24
• Oracle Data Integrator 可提供一日内或每日或其他任何时段
的解决方案
客户案例: Exadata上的实时数据仓库
AVEA
目标
• 通过及时客户信息支持活动管理
• 数据增长的同时减少批处理窗口，提升ETL及报表性能
解决方案
• GoldenGate 从CRM、Billing和其他关
键系统向ODS提供实时数据
• ODI 从ODS中获取近实时数据并载入
Exadata数据仓库
• OBI EE 用于实时报告
25
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
投资回报
• 在Siebel CRM活动管理系统中及时访问
数据
• 数据仓库批处理窗口减少50%
• 从数据仓库生成报告的数量增长10倍
为Exadata提供完整数据集成
顶级性能, 集成，“Red Stack Optimized”
•
•
•
•
•
直接在Exadata上运行
为数据仓库启用迁移、整合
支持任何时间的数据内容
提供非侵入式来源捕获
最具成本效益、性能超高的数据加载
tx4
tx3
Oracle Data
Integrator
tx2
tx1
非侵入式实时事务获取
Oracle
GoldenGate
EMP
DEPT
通过ELT进行批量供给、增量
更新及数据库内转换
Oracle Data
Integrator
26
DIM
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
DIM
FACT
26
EMP
DEPT
DIM
DIM
总结
通过Oracle GoldenGate 实现零停机迁移
27
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
向Oracle Exadata迁移
• 2011年12月15日
28
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
IQNavigator 背景简介
服务于电子采购软件供应商
自动端到端：申请，合同，交付，计费
样例服务：临时工，顾问，外包服务，现场服务等
成立于1999年，总部设在科罗拉多州丹佛市。
350 名员工
75% 的客户位于全球2000中
40%的使用量位于美国之外
全方位软件即服务
全方位Oracle 技术
实时报告
关注于通用性：定价基于“成本花费”而非用户情况进行定价；约有400万用户
市场领导者
2010 Forrester Wave: 市场现有及未来战略占有率均处于领先位置
每年30%的增长速度
Proprietary and Confidential
29
为何选择 exadata?
扩展性战略
 2011年初计划进行存储层升级
− 目标：更快的读写速度
− 速度问题：报表运行时间和页面响应时间影响用户量
 需要继续对OLTP数据库实时报告
 Exadata 评估选项
Exadata 优点
 10倍性能（2011年2月通过概念证明）
−





OLTP和实时报告工作负载
单一供应商支持模式
整合测试环境与OracleEBS数据库
未来的延伸性&扩展性
通过其他选项无法实现这种性能
无Oracle数据库之外的绑定供应商
2011年2月购入Exadatas两台四分之一机架
 一个存储量超大，用于测试；一个吞吐量超大，用于生产。
 2011年4月交付
 Production & Oracle EBS 在2011年9-10月实行
Proprietary and Confidential
30
为何要求零停机？
要求零停机，因为:
全球2000家客户的需求




12家公司为财富100强
用户来自124个国家
众多金融服务及多业务客户
最大的客户在马来西亚拥有自己的全球技术支持中心
关键任务业务流程
 发放50万名提供服务人员的工资
 保障生产企业、配送中心及办公地点系统安全
 向非雇员提供访问系统的客户端
通过经济处罚控制系统正常运行时间的SLA
 对SaaS供应商而言有些独特
Proprietary and Confidential
31
起点& 迁移目标
迁移目标：
零停机(在周末通宵窗口之外)
高可靠迁移
 测试与验证
 每个步骤回退
对用户和客户完全透明
交换生产 & 灾难恢复数据中心
整合测试环境到二代Exadata上
最大限度减少日常运营及支持需求
Proprietary and Confidential
32
迁移计划概览
核心项目规划要点：
Proof-of-Concept:
 生产数据（清洁），生产工作负载
 检测SQL返回时间，CPU利用率，I/O吞吐量
利用Oracle服务安装及配置
迁移多测试环境：
 仅供内部的测试环境，用户验收的测试环境
−
为客户提供性能预览
 Exadata2 (测试) -> Exadata1 (成品)迁移
 压力测试负载
最终协调
 事先练习创建清单，派生回退计划并为每一个步骤获得良好的时序预估
 附有多个检测点和清晰沟通步骤的高度结构化的计划
简化计划:
 从Exadata迁移中独立出网络变更
 单独运行Oracle EBS 升级项目
Proprietary and Confidential
33
终点& 经验
经验：
Exadata 硬件：高容量硬盘，更多内存计算节点
系统制约(即调整目标)从硬盘中去读取CPU
DBA角色扩展，可管理数据库中所有事务，包括存储
通过Oracle Support充分利用变更关系
更快的运行时间，以致更高的终端用户需求及新环境
要求
Proprietary and Confidential
34
成果 & 未来规划
成果：
 网页响应时间由每亚秒92%上升至每亚秒
 中位数报告运行时间从2.5分钟缩短为22秒
 百万行级别项目创建清单进程提速8倍
未来规划：
 继续调整Oracle 11g及Exadata
− 为一些表单启用压缩
 添加GoldenGate，将其转换至Exadata2上的备用数据库
 快速运行近实时备用数据库的分析报告
 增加扩展存储
Proprietary and Confidential
35
加入我们
Oracle.com/Exadata
Oracle.com/goto/GoldenGate
Twitter
twitter.com/ORCLGoldenGate
twitter.com/Exadata
Facebook
facebook.com/OracleDataIntegration
Blog
oracle.com/blogs/DataIntegration
36
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
<Insert Picture Here>
问答
37
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
37