Transcript Smarter Storage

Smarter Storage –
價值主張及實戰案例
Dennis Dai
Storage Technical Consultant
知識
•
•
•
•
•
•
•
•
•
IBM DS8870 certification
VMWare VCP certification
EMC expert certification
Cisco Data Center sales specialist
SUN SCNA
Microsoft MCSE+I
ITIL Foundation
Certified Data Centre Professional
Certified Data Centre Facilities
Operations Manager
完整資料
•
•
•
•
•
•
Data Center Consolidation
Virtualization
Automation
Disaster Recovery
Active-Active Backup Solution
Assessment
3
中心解決
方案規劃
豐富的專案經驗
• Financial Services(CITI Bank、Bank of America Merrill Lynch、JP Morgan、勤業眾信、日盛金控、
台灣企銀、財金資訊、野村證券、板信商行、金鼎證券、南山人壽、Chartis Insurance、ING Insurance)
• Government（臺灣證券交易所、臺灣集中保管結算所、經建會）
• Comm & Media（台灣大哥大、台灣固網、遠傳電信(SeedNet)、中華電信、SONY、Apple Daily、聯合報）
• Travel & Transportation (長榮海運、長榮倉儲)
• Education (空中大學、輔仁大學、政大圖書館)
• Hospital (萬芳醫院、小港醫院)
• Manufacturing(中石化、3M、聯發科、晶豪科技、聯詠科技、宏達科技、凌華科技、燁輝鋼鐵).
We will continue to optimize the full IBM stack – from silicon to solution and
underpinned by IBM Research – to enable smarter computing for our clients
Optimized Solutions
Optimized
IBM Middleware
Open APIs and
Orchestration
IBM
Investments
Differentiated
Client Value
Deep
integration
and
optimization
Hypervisors and
Operating Systems
System Infrastructure
(server, network, storage)
Semiconductor and
Processor Technology
Higher
Value
大數據 的挑戰
• Scalability:
– 通常使用 DRAM 評估需求量及未來成長量，其次考慮伺
服器及 CPU 量, 儲存方面建議採用 Direct-Attached
Storage 作為儲存體； 例如 Hadoop, NoSQL 使用 PCIe
flash storage來降低 I/O延遲時間。
– 可否可能採用 Big Data 架構後，不增加儲存孤島？不增
加管理者負擔？使用 Shared-Storage 以提昇儲存整體效
能及使用率？
• Availability:
– 當伺服器或儲存設備發生故障時，透過伺服器RAID機制
或 Big Data 系統 mirror 的技術，保護其架構的穩固性。
– 可否可以使用硬體保護機制取代軟體保護機制？以增進
整體系統穩固度？
• Design:
–
Big Data 分析的資料型態通常是非結構化資料，與目前關
連式資料庫有所不同，需要重新設計資料庫，通常需要龐
大的成本牽移資料庫。
–
可否可以不改變資料庫結構的情況下，進行大數據資料分
析？(Gartner report:從2011 20％ data warehouse leader想要使
用Big Data方案取代既有的資料求下降到2012 11％）
• Deployment:
– 建置 Big Data 常耗費的大量人力資源及工時，及評估現
有儲存架構是否符合需求，及評估合適投報率.
資料來源： http://wikibon.org/wiki
需要很快的DAS
需要很快的Share Storage
儲存 普遍面臨的挑戰
• Scalability:
– 空間增加，整體效能會下降。
– 可否有一種架構，擴充空間同時效能可以線性提昇？
– 可否有一種平台，可以跨儲存設備進行效能智能運算，將
熱點資料放在適當的儲存體？
• Availability:
– 資源過度集中於少數硬體元件。
– 可否有一種設計，當硬件壞掉時，資源不致於過度集中，
間接影響線上服務環境？
• Design:
–
每次採購專案，不可能都買到相同廠牌的儲存設備。
–
新的儲存管理系統是否可以整合目前的儲存設備？整合
同廠牌不同平台，不同廠牌儲存設備， 以降低管理負擔？
–
舊的儲存設備是否可以重覆利用？存放備份資料或建置
Local DR環境，增進設備使用率？
– 可否建立標準化平台，未來擴充建立在相同的管理模式？
• Trend:
– 面對資料呈指數倍增，及預算縮減，如何因應未來挑戰？
– 可否透過儲存設備新技術 ，大大降低整擁有成本？
– 可否可支援熱門 softwared define storage, 提供API整合
Business workflow,降低未來儲存營運需求？
IBM
Smarter Storage
Efficient by Design
資料量
預算
now
future
Reduce cost by 50%
Optimize
Reduce
what you have Foot Print
2TB
Self Optimizing + Could Agile
Store at
Right place
Avoid data growth in coming 3 years
EMC
HP
HDS
Move to
Right place
Ease of
Management
1TB
1TB
cost
2TB
33%
50%
20%~35%
Thin
Real Time
Tivoli Productivity
Provisioning Compression Center
15K /TB
SSD Easy Tier
list price
2.5K /TB
One GUI for ALL
雲儲存 的挑戰:
• Design:
– 什麼是雲儲存？
– Be Scalable？
– Be Self Managing?
– Be Self Healing?
– Ensure Content is Highly Available？
– Support Workflow Automation？
– Enable Integration with Public, Private and Hybrid
Cloud？
• Trend:
– 雲儲存的趨勢為何？
– 部份解決方案會採用 Object-Storage 當作儲存體，
但是成熟度不及 SAN 及 NAS 儲存設備。
– SAN 及 NAS 逐漸有橫向擴充架構技術，擴充效能同
時也擴充效能，也適合雲儲存的應用
– 支援 Open Stack, Software-Defined Storage
vs
傳統架構
雲端架構
70
65
60
55
50
45
40
IOPS
35
30
25
20
15
10
5
0
1
6
11
16
21
26
31
36
41
46
51
56
61
66
71
76
81
86
91
96
101 106 111 116 121 126 131 136 141 146 151 156 161 166 171 176
Spindle #
維持一定的效能
政府儲存雲 面臨的挑戰:
• Availability:
– 評估錯誤或是配置失當，會有什麼樣的影響？
– 重要（Mission Critical)服務的中斷對企業造成的影響? 聲
譽損失？獲利減少？或導致破產？
– 實務上常因基礎架構中的單一元件，或相對應DR Storage
發生故障，導致整體效能下降，造成線上服交易的影響。
– 重要基礎架構需要端對端的規劃，從伺服器，光纖交換器，
儲存設備，甚至網路應一併規劃。
• Security:
–
如何因應資訊安全及個資法的議題？
–
磁碟支援硬體加密，不會因為更換硬碟時，導致資訊外漏
–
支援T10標準，端到端硬體資料健全性檢查
–
可否建立標準化平台，未來擴充建立在相同的管理模式？
Response Time (ms)
• New Workload:
– 什麼樣的平台可支撐政府經濟示範區「六海一空」的應用
服務？對原料的控管，未來放寬海關關務審驗機制後，將採
「虛擬海關」，透過電子帳證、遠端稽核、分級管理、事後選
查等做法，過去的實體海關將轉變為遠端控管。
– 穩固及高效能的基礎架構, 集中化及標準化管理，未來可提
供分支地點基隆港、台北港、蘇澳港、台中港、高雄港、台南
安平港、桃園航空自由貿易港區資訊交換
SPC-1 Published Results
14
DS8300 Turbo
12
10
HDS USP V
HDS VSP
8
6
SVC 5.1 w/ 2×
DS8700
3PAR V800
4
2
DS8870
0
0
100000
200000
300000
400000
I/O Request Throughput (IO/sec)
Solid-State
500000
Software Defined Storage
Store more
with what’s on
the floor
Virtualisation
Automated Tiering
Thin Provisioning
30% loss
RAID
Spares
Raw
30% loss
LUN Sizes
Performance
Usable
Allocated
Data In The
Right Place
Stop storing so
much
Reporting
Capacity Forecasting
Alerts
Data Reduction
Technologies
Deduplication
15% loss
Unused LUN’s
Zero access
Active
Compression
40% loss
Utilisation
Data Size
Transforming to build momentum: Smarter Storage
政府儲存雲方案
Cloud Storage 方案
虛擬平台方案
Big Data 方案
• In-Memory DBs or
Fabric DBs integration
• Power Linux / X3850
• DCS3700 DAS 架構
• Flex System＆V7000 整合
• V5000 / V7000 / SVC
• Software Defined Storage
(SDS) Strategy
• Storwize as a Platform
- Open API, Virtual App
• XIV 易於使用，自我管理
• Open Stack 整合
• Ebay successful story
• Up to 11X better $ / IOPs for certain workloads
• Up to 75% lower environmental costs
• $1Billion portfolio investment
• Extreme performance with Enterprise capabilities
擅於處理：
• 即時爆量 I/O
• 批次作業
• SAS資料分析
• 12 Flash Centers of Competency
• 科研單位
• DS8870 具備高可用性，
高擴充性，及效能一致
性
• 資料安全規範
• 伺服器的熱點資料整合
（Triton)
Transforming to build momentum: Smarter Storage
Open & Collaborative
Defined by Software
Designed for Big Data
虛擬平台方案
Big Data 方案
• In-Memory DBs or
Fabric DBs integration
• Power Linux / X3850
• DCS3700 DAS 架構
• Flex System＆V7000 整合
• V5000 / V7000 / SVC
• Software Defined Storage
(SDS) Strategy
• Storwize as a Platform
- Open API, Virtual App
政府儲存雲方案
Cloud Storage 方案
• XIV 易於使用，自我管理
• Open Stack 整合
• Ebay successful story
• Up to 11X better $ / IOPs for certain workloads
• Up to 75% lower environmental costs
• $1Billion portfolio investment
• Extreme performance with Enterprise capabilities
擅於處理：
• 即時爆量 I/O
• 批次作業
• SAS資料分析
• 12 Flash Centers of Competency
• 科研單位
• DS8870 具備高可用性，
高擴充性，及效能一致
性
• 資料安全規範
• 伺服器的熱點資料整合
（Triton)
★★★
★★
★
磁碟陣列選擇-主機平臺和應用
SAN
儲
存
進
階
功
能
解
決
方
案
第一選擇
第二選擇
可選方案
NAS
DS8000
XIV
V7000
V5000
V3000
DCS3700
SVC
SONAS
V7000U
N Series
N Gateway
簡單管理
★★
★★★
★★
★★
★★
★
★★
★★
★★
★
★
資料移轉
★★
★★
★★★
★★★
★★★
★
★★★
★
★
★
★
與舊有系統容災
★★
★★★
★★
★★
★
★★
★★
★★
★★
★
★★★
★
★
★
★★
★
★★
★
非結構化應用
三點容災
★★★
雙活容災
★★★
綠色節能
★★★
★★★
★★★
★★★
VMware 整合
雲
整 虛擬化
合
雲存儲
★★
★★★
★★★
★★★
★
★★
★★
DataDase,ERP,SAP
★
HPC 高性能計算
應
用 醫療 PACS
服 圖像應用
務
整
合 視頻監控
媒體應用
★★★
(Open Stack)
★★
★
★
★
Big Data
TPC
Power VM/MControl
★★
★★★
★★
(un–structure)
★★
(un–structure)
★★
(un-structure)
✓
✓
★★★
★★
★★
★★
★★
★★★
(COSA)
★★
★
★
★
★
★
★
★★
★★★
★★★
★★
★★
TPC Select
系
FlashCopy Manager
統
軟
SmartCould
體 14 GPFS
★★★
★
★
應用集成
★★
★★★
★★★
★★★
★★★
★
★★
(cost)
★★
(cost)
★★
(cost)
★★★
(Strategy)
★
★
★★★
★★★
★★
★★★
★★★
(GPFS)
★★
★★★
★
★★
★★★
★★★
★★
★
★
★
★★
★★★
★★
★★★
★
★★
★★★
★★
★★★
★★★
★★
★★
★★★
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓