Transcript File Shares

HDS FCS產品介紹
巨量資料的儲存基石
Hitachi Content Platform
巨量資料帶來的改變與挑戰
因應持續不斷成長的大量非結構化資料、如何取捨儲存資料、資料保存期限、如
何對應巨量資料的需求來設計儲存架構等……….
Store
Data In
Control
Understand
Insight Out!
巨量資料帶動儲存需求的改變
 Volume大量的資料
 Variety多樣化的資料格式
 Velocity快速儲存的資料
最重要的價值在於協助企業分析過去
無法被充分利用的資訊
巨量資料趨勢下的資料儲存架構需求
 符合成本效益的儲存架構
‒ 解決以往單一需求的解決方案，產生許多獨自運作的儲存孤島，需要集中化且更
具經濟的儲存系統
‒ 資料保存期限將視資料分析需求而延長，需要擴充能力大且橫向擴充的儲存系統
‒ 花費大量的時間在搬遷需要被分析的資料，也將影響系統分析的效率
 資料保護且可靠的儲存架構
‒ 靜止的資料無法線上存取及分析，如何有效率的取出資料
‒ 資料隱私權保護與資料安全需求
‒ 減少資料備份的成本
Object Storage物件儲存
什麼是物件？
Data (Original File)
System Metadata – 26 attributes (e.g. date, file
name, retention)
Custom Metadata– customer name, part, $$
amount, shipping detail, etc
Policy Information – System metadata that
governs file retention, disposition, protection,
authentication, replication
 物件包含資料及其相關的詮釋資料，由不同大小的物件取代傳統的資料區塊(磁軌和磁
區)。
物件儲存的價值
大家好！我是一個
PowerPoint的文件檔
物件讓資料有生命週期的概念….
 如果資料可以描述自己是
什麼？
 思考一下這樣可以得到什
麼好處:
‒
簡化管理
‒
提升資料保護
‒
達成自動化
‒
降低成本
‒
降低風險
 這就是導入物件儲存的好
處





我是被 某用戶於 2011/4/17建立的.
目前只有財務部門可以檢視我的內容.
不過我已經六個月沒有被變動過了.
為了節省企業成本，我並不需要被異地備援.
我有包含一些公司合併的資訊，所以需要被保留10
年以上，以提供未來可以調閱.
 我可以在2021/4/17刪除 。節省磁碟空間降低成本.
HCP：管理巨量資料及多租戶的物件儲存系統
原始檔

支援最大40PB容量

支援最多1000個彼此隔離的租戶

提供REST接口供ISV開發

具備搜尋引擎

非結構化資料最終的儲存裝置
資料設定保留期限
 保存期限內不得刪除，防止竄改
系統詮釋資料：
作者，檔案名，
保留時間，加
密，保護等
自訂詮釋資料
(User Metadata)
資料自我防護不丟失
 Hash演算自我校驗及內部多份拷貝
資料壓縮及重複刪除
資料搜索
 節省儲存空間
 依條件快速找到所需資料
HCP多租戶特性
1個HCP平臺支援1000個租戶（TENANT），10000個命名空間（NAMESPACE）
Tenant
NAMESPACE
Tenant
NAMESPACE
NAMESPACE
Tenant
NAMESPACE
NAMESPACE
NAMESPACE
NAMESPACE
NAMESPACE
NAMESPACE
NAMESPACE
NAMESPACE
NAMESPACE
NAMESPACE
NAMESPACE
NAMESPACE
Hitachi Content Platform 提供:
 邏輯隔離的多租戶
 安全許可權控制防止非法入侵
 防止非法篡改資料
Tenant
NAMESPACE
NAMESPACE
NAMESPACE
Tenant
NAMESPACE
NAMESPACE
NAMESPACE
NAMESPACE
NAMESPACE
NAMESPACE
NAMESPACE
NAMESPACE
NAMESPACE
NAMESPACE
APP A
APP B
HCP的高規格資料保護
 磁碟RAID6保護
Amazon S3 syntax
HCP syntax
RESTful HTTP(S) RESTful HTTP(S)
 HCP 詮釋資料2份副本
 兩套HCP可實現容災和自動切換
 1個物件在HCP上可有多個版本
 HCP自動對物件進行檢查並自我修復
 1個物件多份副本 – DPL2,3,4
資料6級保護
Linux/Unix
(NFS)
Document
Windows Management
(SMB)
(WebDAV)
Email
Journaling
(SMTP)
HCP 完全相容Amazon S3，可完美地將公有
雲的資料遷移到私有雲
 將資料存放到Amazon S3的產品，不需要整合也可以將資料發送到HCP
 如果HCP內部已經有很多要處理的資料 ，不需將資料複製到HDFS ，節省不必要的儲存
資源。此外HCP更提供資料的可靠性和可用性。
Application
資料遷移後的好處
本地端的資料備份與分點的資料備份，磁帶機的成本也需要提高
分點的備份系統可以淘汰
File Shares
File Shares
(CIFS/NFS)
File Shares
(CIFS/NFS)
根據IDC 的報告接近 70% 的資料在系統中是處於 “靜止”的
(CIFS/NFS)
File Shares
File Shares
(CIFS/NFS)
File Shares
(CIFS/NFS)
(CIFS/NFS)
隨著資料變大，企
若將這些資料轉移
業必須不斷的購買
至成本較低的儲存
昂貴的空間
媒介
File Shares
File Shares
(CIFS/NFS)
File Shares
(CIFS/NFS)
(CIFS/NFS)
Other
Other
Applications
Other
Applications
Applications
SQL Server
除了空間成本，一些
以空間為計價方式的
軟體授權費用及維護
費用也跟著提高
軟體的授權成本與維
護成本自然也會隨之
降低
HCP 可以動態的由TB 空間擴充至
PB等級
備份成長成本的幅度更是以數倍的方式增加
將這些”靜止”的資料搬遷，備份負載自然降低 (50%-80% savings)
HCP檔案搜尋引擎
租戶A
Namespace 1
Namespace 2
租戶B
Namespace 1
Namespace 2
租戶C
Namespace 1
Namespace 2
總部HCP
HCP建搜尋引擎完成檔案搜索查詢
 為每分區保存在HCP的物件利用詮釋資料建
立索引，同時也為也為整個HCP建立索引
 利用建立的資料索引實現對保存檔的搜索和
查詢定位
詮釋資料：泰格·伍茲
第17洞
2005年大師賽
日立內容平台解決方案的巨大效益
效益
節省儲存空間
重複資料刪除及壓縮可節省主要資料儲存
空間
節省備份支出
分散式檔案系統方案
ROBO與BYOD
HDS 提供簡單、集中、低成本的方式
Hitachi Content
Platform (HCP)
 在遠端站點節省或消除備份
 減少資本支出及管理開銷
 架構簡單、擴充容易及操作簡便
Hitachi Data
Ingestor
架構不變，效益大大提升
Core HCP
Users
WRITE
READ
CIFS/NFS
REPLICATE
RECALL
1.6TB
REST/HTTP(S)
Remote HDI Appliance
= 400M Objects
1.6TB at theScalability
edge can represent
400TB at the core
Capacity calculations are based on an average file size of 1MB
400TB
企業資料同步、資料分享
 快速的資料分享與備份
 分享模式: 單向寫入多向讀取
Stubbing，資料遷移到HCP
因應修改，保留資料 多個版本
效益說明
傳統NAS
HCP+HDI
˅
˅
HA Cluster 架構
資料保護
˅
資料副本多份存放(4份)
擴充性
˅
支援40PB 資料超大空間
檔案行為分析
˅
讀、寫、修改等行為監控
合成式備份功能
˅
整合資料備份
系統安全性
說明
異地備援功能
˅
˅
防止設備故障損壞
資料精簡
˅
˅
重覆性資料刪除
物件存放
˅
Metadata 管理
資料壓縮
˅
2:1 空間節省
˅
磁碟休眠
Stubbing
˅
資料虛擬連結
Data Life Cycle 管理
˅
依據使用頻率自動遷移 Tiering
快速搜尋
˅
依據文件內容做快速搜尋
資料自動修復功能
˅
檔案文件自動修復(Hashes)
Disk Spin-down
˅
Hitachi NAS Platform F1000
HNAS 入門級機種
Internal
Storage
HNAS F1120
 HNAS F1120 – Single Node
‒
One, 2U Server w/single CPU, 12GB RAM
‒
12x internal drives for 6TB to 36TB
 HNAS F1140 – HA Node
External
Storage
HNAS F1140
‒
Two, 2U Server w/single CPU, 16GB RAM
‒
One HUS storage array nodes
‒
1U IP switch
CIFS (SMB1, SMB2)
NFS (V2, V3, V4)
FTP, SFTP, SSH
 HNAS 4040 – HA Cluster
HNAS 4040
‒
Two, 3U File server nodes w 6 FPGA, 32GB RAM
‒
One HUS storage array nodes
‒
‒
1U External management server
1U IP switch
CIFS (SMB1, SMB2, SMB3)
NFS (V2, V3, V4)
FTP, SFTP, SSH
進階功能 NAS Migration





原Production NAS / File-Servers的資料搬遷到HNAS F 儲存系統
NAS遷移是自動化及背景作業，資料遷移過程中客戶存取NAS系統是完全透明
支援友商NAS平台: NetApp, EMC 及 Windows Storage Servers (WSS)
資料可平行遷移至HCP
使用原有相同的存取協定進行資料搬遷(CIFS/SMB 或 NFS )
Clients
application
servers
Migration source NAS or file servers
LAN
HNAS F
HCP
Both can execute at the same time
與Vmware vSphere 整合
 HNAS F提供軟體插件，
Vmware系統管理員不需登入儲
存系統，直接在vCenter中可線
上快速佈署及調整Datastore，執
行虛擬機器的佈署及備份
HNAS F NFS share creation is
invoked automatically as NFS
DataStore for guest OS deployment
(Provisioning)
HNAS F
Snapshot creation is invoked
automatically for Guest OS VMDK backup
HNAS F 跟HDI一樣完全整合HCP
 外圍資料到核心整合的解決方案
 Greatly reduces the cost and complexity of
providing IT services to distributed consumers
有效降低了給分佈式用戶提供IT服務的成本
和複雜度
-
外圍分支機構
雲端用戶
資料不需備份
Edge
Data
Core
Branch 1
Data
Branch 2
 Hitachi Content Platform:
-
提供先進的儲存和資料管理功能
Data
Branch 3
Data Center
完全與Hitachi Command Suite整合
 HNAS-F的管理與佈署可以透過HCS管理介面，減少管理複雜度。
HCP Anywhere
HCP Anywhere檔案同步與分享的解決方案
ALLOW YOUR EMPLOYEES TO ACCESS DATA AND COLLABORATE
在任何行動裝置
在任何地點
Corporate
Equipment
Inside your offices
Bring Your Own Devices
(BYOD)
Securely
Backed by
Securely via public internet,
while on the go
and
29
quality
加強企業資料的安全性
Internet
Corporate Network
File Sync & Share
HCP Anywhere
File
Sync & Share
Remote HDIs
HDI Devices
DMZ
Private
 使用者含有企業資料的移動設備遺失後，IT部門可以刪除資料，避免資料外洩
30
 通過加密和防火牆等措施防範網路攻擊等外來威脅
Internal
HCP AW企業內部專屬的”Dropbox”
 HCP 內容管理解決方案
‒
檔案同步與分享
‒
資料不須備份
‒
減少及消除桌機備份的解決方案
 Security
‒
直接與AD 帳號整合
‒
整合防毒功能
‒
資料儲存於內部機房之HCP
‒
雙憑證機制
‒
歷程遠端監控 (https)
‒
遺失風險控管
HCP-Anywhere
HCP-Anywhere
POD POD
HCP-Anywhere
HCP-Anywhere
POD POD
Thank You