Transcript Exadata 智能技术

Oracle Exadata 介绍及成功案例分享
梁志宇 高级技术顾问
全球 ISV & OEM 联盟事业部
[email protected]
议题
• Exadata 产品介绍
• Exadata 智能技术
• Exadata 金融行业案例分享
• Q&A
我们会如此去购买汽车吗?
同样,我们也不会如此去采购IT系统
3
Oracle ExaStacks
软件，硬件，完美整合.
构建21世纪数据中心
Exadata 数据库一体机硬件架构
Scaleable Grid of industry standard servers for Compute and Storage
• Eliminates long-standing tradeoff between Scalability, Availability, Cost
Database Grid
• 8 Dual-processor x64
database servers
Intelligent Storage Grid
• 14 High-performance low-cost
storage servers
OR
• 2 Eight-processor x64
database servers
• 100 TB High Performance disk,
or
336 TB High Capacity disk
InfiniBand Network
• 5.3 TB PCI Flash
• Redundant 40Gb/s switches
• Unified server & storage
network
• Data mirrored across storage
servers
Copyright © 2010, Oracle Corporation and/or its affiliates
– 5–
Exadata数据库一体机全线系列
适合在线业务处理, 数据仓库和混合类型业务负载
X2-2 Full Rack
– 6–
X2-2 Half Rack
X2-2 Quarter Rack
X2-8 Full Rack
Exadata 一体机 X2-2 全配
预配置并提供极高性能
• 8 x64 Dual-procesor Database Servers (Sun Fire X4170 M2)
• 96 cores (12 per server)
• 768 GB memory (96GB per server)
• 10 GigE connectivity to Data Center
• 16 x 10GbE ports (2 per server)
• 14 Exadata Storage Servers X2-2
• All with High Performance 600GB SAS disks
OR
• All with High Capacity 2 TB SAS disks
• 3 Sun Datacenter InfiniBand Switch 36
• 36-port Managed QDR (40Gb/s) switch
• 1 “Admin” Cisco Ethernet switch
• Keyboard, Video, Mouse (KVM) hardware
• Redundant Power Distributions Units (PDUs)
Add more racks for additional scalability
– 7–
Exadata 一体机 X2-2 半配
预配置并提供极高性能
• 4 x64 Dual-procesor Database Servers (Sun Fire X4170
M2)
• 48 cores (12 per server)
• 384 GB memory (96GB per server)
• 10 GigE connectivity to Data Center
• 8 x 10GbE ports (2 per server)
• 7 Exadata Storage Servers X2-2
• All with High Performance 600GB SAS disks
OR
• All with High Capacity 2 TB SAS disks
• 3 Sun Datacenter InfiniBand Switch 36
• 36-port Managed QDR (40Gb/s) switch
• 1 “Admin” Cisco Ethernet switch
• Keyboard, Video, Mouse (KVM) hardware
• Redundant Power Distributions Units (PDUs)
Can Upgrade to a Full Rack
– 8–
Exadata 一体机 X2-2 1/4配
预配置并提供极高性能
• 2 x64 Dual-procesor Database Servers (Sun Fire X4170 M2)
• 24 cores (12 per server)
• 192 GB memory (96GB per server)
• 10 GigE connectivity to Data Center
• 4 x 10GbE ports (2 per server)
• 3 Exadata Storage Servers X2-2
• All with High Performance 600GB SAS disks
OR
• All with High Capacity 2 TB SAS disks
• 2 Sun Datacenter InfiniBand Switch 36
• 36-port Managed QDR (40Gb/s) switch
• 1 “Admin” Cisco Ethernet switch
• Keyboard, Video, Mouse (KVM) hardware
• Redundant Power Distributions Units (PDUs)
Can Upgrade to an Half Rack
– 9–
Exadata 一体机 X2-8 满配
提供极高性能，适合大型OLTP, DW和混合类型业务处理
• 2 x64 Eight-processor Database servers (Sun Fire 4800)
• High Core, High Memory Database Servers
• 128 CPU cores (64 per server)
• 2 TB memory (1 TB per server)
• 10 GigE connectivity to Data Center
• 16 x 10GbE ports (8 per server)
• 14 Exadata Storage Servers X2-2
• All with High Performance 600GB SAS disks
OR
• All with High Capacity 2 TB SAS disks
• 3 Sun Datacenter InfiniBand Switch 36
• 36-port Managed QDR (40Gb/s) switch
• 1 “Admin” Cisco Ethernet switch
• Redundant Power Distributions Units (PDUs)
Add more racks for additional scalability
Copyright © 2010 Oracle Corporation and/or its affiliates
– 10 –
6
6
Exadata 数据库一体机
软件组成
Oracle Database
必须购买
Management
Packs + RAT
Exadata Storage
Server Software
Data Mining
OLAP
Partitioning*
Real Application
Clusters**
推荐
工具及应用
Advanced
Compression
Oracle ERP &
CRM
Advanced
Security
Active Data
Guard
Oracle
Industry
Solutions
Oracle
Business
Intelligence
Oracle Data
Integrator &
GoldenGate
Complete, Open,
and Integrated
Solutions
* Required for Data Warehousing
** Required for Multi-Instance Database(s)
议题
• Exadata 产品介绍
• Exadata 智能技术
• Exadata 金融行业案例分享
• Q&A
6
Traditional Query Problem
What Were
Yesterday’s
Sales?
Select sum(sales)
where salesdate=
‘22-Jan-2010’…
Return entire
Sales table
Discard
most of
sales table
Sum
• Data is pushed to database server for processing
• I/O rates are limited by speed and number of disk drives
• Network bandwidth is strained, limiting performance and concurrency
Exadata Smart Scan
把查询性能提高10倍以上
What Were
Yesterday’s
Sales?
Select sum(sales)
where salesdate=
‘22-Jan-2010’…
Return Sales for
Jan 22 2010
Sum
• Off-load data intensive processing to Exadata Storage Server
• Exadata Storage Server only returns relevant rows and columns
• Wide InfiniBand connections eliminate network bottlenecks
Exadata Storage Index
Transparent I/O Elimination with No Overhead
Table
Index
A B C D
– Store MIN and MAX values of columns
– Typically one index entry for every MB of disk
1
3
5
5
8
• Exadata Storage Indexes maintain summary
information about table data in memory
Min B = 1
Max B =5 • Eliminates disk I/Os if MIN and MAX can never
match “where” clause of a query
Min B = 3 • Completely automatic and transparent
Max B =8
3
Select * from Table where B<2 - Only first set of rows can match
Copyright © 2010, Oracle Corporation and/or its affiliates
– 18 –
6
6
6
6
Benefits Multiply
10 TB of user data
Requires 10 TB of IO
1 TB
with compression
100 GB
with partition pruning
Subsecond
On Database
Machine
20 GB
with Storage Indexes
5 GB Smart Scan on
Memory or Flash
Data is 10x Smaller, Scans are 2000x faster
议题
• Exadata 产品介绍
• Exadata 智能技术
• Exadata 金融行业案例分享
• Q&A
26
Exadata 全球客户实施/POC测试结果
Item
Customer
Project / App
Status
Result
1
Bank of America
Financial DW and HR DW
Deployed
10-26x faster
2
Commonwealth
bank of Australia
DB consolidation/
PeopleSoft Financials
Deployed
Run 300 DB
services
3
SK Telecom
DLAP&BI，24TB
Deployed
10x faster
4
National Healthcare
Group
OLTP
Deployed
470x faster
5
Financial
DW
POC
330x than corrent
33x than target
6
Linkshare
OLTP/OLAP
Deployed
10x faster
7
Financial
Cognos App/ BI
POC
91x faster
8
Banca Transilvania
DW & OLTP
Deployed
30x faster
Turkcell Bio(Telco)
DW
Serving 50k reports/month
250TB Raw Data to 25TB
Disk space(HCC)
Deployed
10-400x Faster
P&G
DW
Deployed
22-144x Faster
9
10
Exadata 中国区用户POC测试结果
序号
行业及项目
配置
测试结果
测试日期
1
Telco: 经营分析
V2, ¼ Rack
168倍
2010.11.26 - 28
2
Telco: 财务系统
V2, ¼ Rack
20倍
7天, 2010
3
Telco:经营分析
V2, ½ Rack
235倍
2010.9.8 - 15
4
保险: 数据仓库
V2, ¼ Rack
25倍
21天, 2010.5
5
保险：EDW project
V1
5倍
2009.1 – 2009.4
6
MRD: ETC (DW)
V2, ¼ Rack
300倍
14天, 2010.5
7
MRD: ODS/DW
V2, ¼ Rack
62倍
14天, 2010.5
8
DATES & DW
V2, ¼ Rack
10 - 450倍
2010.7.5 -16
9
MRD: 集运运输(OLTP)
V2, ¼ Rack
10倍
2010.8.9 - 18
10
电力: 低压集超(DW)
V1
10 倍
7天, 2010.1
* 测试结果为Exadata相当于用户原有环境或第三方对比测试方案的性能提升倍数
Bank of America
BOA需求

Infrastructure
Simplification
大幅缩减存储需求
采用Exalogic整合中间件基础设施
采用Exadata整合数据库服务器和整合应用
提高服务器使用效率
实现数据中心的计算能力作为服务

•
•
•
•
<Insert Picture Here> •
Analytics
Consolidation
Security and
Identity
•替换Teradata 比较分析
• 分析作为服务
• 分析系统实现优化和整合
•
•
•
实现身份管理作为服务
数据安全
合规和治理
•
•
大批应用系统实现优化和提升效率
营销服务、呼叫中心、财务和人力准化资源标
Oracle as a
Service
© 2011 Oracle Corporation – Proprietary and Confidential
3
实现数据中心“云”
从“竖井”到“网格”
• 按峰值计算硬件容量
• 难于扩展
• 高管理成本
• 共享资源池
• 按需分配资源
• 成本集约
我们对目前Server需要和策略进行模型分析
并相应计算了用*Exa…产品线的节省
线性测算
目前
2,270
数据库
服务器
<Insert
1,782
WebLogic
服务器
Picture
Here>
Core based model（按CPU核算）
Tiered server model AIX, Solaris,
Linux
整合后移植到Linux上
假设每年12-18%成长
Exadata
如果不变化
50% of cores move to Exadata over 5
years（5年有一半的CPU核移植到Exadata)
整合效应按上述一半计算
余下基础设施按照通常线性测算
© 2011 Oracle Corporation – Proprietary and Confidential
reduce server costs
如果按照Oracle建议模
式
$140
$249
减少服务器成本
11
POC 结果
HR 数据仓库 POC
9.2x – 27.6x
Average BI
Speedup
BI Test Case 1 (Single User for
Each Query)
12.7
BI Test Case 2 (5 Users Q1-Q5,
1 User Q6-10)
14.5
BI Test Case 3 (10 Users for
Each Query)
27.6
BI Test Case 4 (25 Users Q1Q5, 10 Users Q6-Q10)
9.2
12.6x Average
ETL Speedup
ETL Tests (4 Load Scripts)
12.6
0
5
10
15
Improvement Factor
20
25
30
POC 结果
Global Markets DW POC
Reports throughput with all the real-time and batch ETL jobs running!
900 000
35
33
800 000
825 734
30
700 000
25
600 000
20
500 000
Reports per Hour
400 000
15
Exceed Factor
300 000
10
200 000
100 000
5
25 000
0
0
Stretched Goal
Exadata
Concurrent Users = 300
Number of Distinct SQLs= 328
Very complex SQL, each runs into multiple pages, and total size of sql text > 17MB!!
BoA 在5年时段内能够实现2亿7千万-4亿美金
在基础设施方面的节省
<Insert Picture Here>
© 2011 Oracle Corporation – Proprietary and Confidential
10
中国工商银行
ICBC Exadata POC项目目标
平台
OLTP
OLAP
扩展
性
混合
DW对
比
集群
……
POC结果总结
完全兼容目前前端/后端应用
支持OLTP/OLAP
应用
查询 联机交易 批量 平均
PCM、CM 220
239
11 198
MPVS
62
23
43
高效的加载/转换
支持混合负载
支持大集群场景
Oracle合计投入286个人天
支持应用资源管控
性能平均提升11-239倍
线性扩展达到1.92倍
可管理、易变更
高可用
累计共295个应用测试场景
深圳联合金融服务集团
金融业成功案例 –深圳联合金融服务集团
“云银行”IT外包服务
 客户介绍
全方位的专业金融外包服务集团公司，为中小银行提供一站、
的金融外包服务，控股股东：深圳金融电子结算中心，上级管
理机构：中国人民银行深圳中心支行，共5,000多名员工
 现状与挑战
•
外包业务发展迅速、客户数增长很快，核心系统数据库批
处理性能不佳
•
客户需求变化很快，要求IT基础设施能够与之相适应进行
快速调整
•
原有系统采用“竖井式”架构,每个系统按最初峰值负载设
计配置,扩展性差、灵活性差，系统之间无法共享资源
•
多个业务系统，管理维护复杂
 为什么选择Exadata
•
高性能的混合负载工作模式满足数据中心数据整
合管理目标，云的方式降低成本、扩容简便
•
一体化的共享数据库资源池，部署多应用情况下
的服务快速提供
•
降低成本，提升效率
•
资源弹性调配能力
•
管理的自动化和管控的集中化
•
Oracle应用软件与Oracle云数据库服务器
的无缝配合
•
一体化解决方案简化集成、管理和维护的
复杂程度
 解决方案
• 采用完整的Oracle解决方案，搭建联合金融的“
云银行”IT外包服务平台
•
¼ Rack 配置Exadata X2-2数据库云服务器
•
Oracle FLEXCUBE核心银行软件
•
Oracle EBS 、OFSA、Siebel CRM
•
WebLogic、BPM Suite、OBIEE
 客户预期
•
三年内外包客户数量达到50家，账户数达500万
•
将核心、信贷、集中作业平台、数据仓库、管理
会计、内容管理等系统全部整合到Exadata平台
金融业成功案例 –深圳联合金融服务集团
“云银行”IT外包服务
“云银行”IT外包服务平台:
• 基于全套的ORACLE金融解决方案，为中小银行提供功能全面、高可用、高品质、高安
全性的数据外包服务:
 高性能的“云计算”数据处理平台。后台数据服务器采用Exadata作为集成数据管理平
台，实现存储和服务器资源的有效整合，提供传统架构3倍以上的业务处理能力
 “混合云”服务平台。数十台刀片服务器组成高性能的应用服务器集群，采用虚拟化技
术统一管理，兼顾客户“共享”或“私有”的应用服务需求
 最佳的应用解决方案。应用系统集成了一系列的ORACLE金融业最佳解决方案，包括
：全球排名第一的FLEXCUBE核心银行软件、金融业应用最广泛的财务管理软件
ORACLE EBS和管理会计软件OFSA，全球第一的客户关系管理软件SiebelCRM
 完全符合SOA标准的应用基础平台。应用服务器采用WebLogic中间件，流程银行引
擎基于ORACLE BPM套件，报表和商业智能分析采用OBIEE解决方案，等等；
 结合深圳金融电子结算中心支付清算平台的功能，联合金融的“云银行”IT外包服务平台还
能够为入网银行提供跨行支付和清算一体化服务。给新开业的小银行和外资银行提供顺畅
、便捷、可靠的支付通道
 按照规划，联合金融公司将建立一南一北两个数据中心以及同城灾备中心。数据中心之间
将通过Exadata的数据同步技术保持备份数据与生产数据的实时同步，为银行提供最高等
级的数据安全和业务连续性保障
© 2008 Oracle Corporation – Proprietary and Confidential
42
Appendix