Transcript Big Data 迷你小刀鋒

資料量要多大才能稱為
Big Data ?
Value
1000
2
1000
3
1000
4
1000
5
1000
6
1000
7
1000
8
1000
Metric
KB
kilobyte
MB
megabyte
GB
gigabyte
TB
terabyte
PB
petabyte
EB
exabyte
ZB
zettabyte
YB
yottabyte
Big Data 的資料那裡來 ?
•
•
•
•
企業 IT 資訊系統的網站記錄檔 (Log)
Open Data (政府資料開放平臺,…)
社交網站 (Facebook, Line, ….)
物聯網 (監視器, 智慧型穿戴裝置, …..)
Big Data 迷你小刀鋒
罐子裡還有沒有咖啡 ?
2
The Four V's of Big Data
(不可刪除與修改)
Veracity
Raw
Data
3
一部百萬級的 IBM System
x3850 X5 可處理 Big Data ?
尺寸外型/高度 機架/4U （每機箱）
處理器 （最大） Intel Xeon 高達 2.4 GHz （十核心）
/1066 MHz 記憶體存取
處理器數目
2/4 （每節點），（支援選配雙節點）
（標配/最大）
快取記憶體
（最大）
高達 30 MB
記憶體 （標配 32 GB/2.0 TB 最大 PC3-10600 DDR3L，使
用 MAX5 則高達 3.0 TB
/最大）
擴充插槽
總計七個 PCIe 半高型
磁碟機櫃 （總 8/8 2.5吋串列連接 SCSI （SAS） 或
數/熱抽換式） 16/16 SAS SSD
內部儲存設備
最大容量
每個機箱 4.8 TB （支援 8 × 73.4 GB、
146.8 GB、300 GB、500 GB 及 600 GB SAS
硬碟機、8 × 160 GB 及 500 GB SATA 硬碟
機，或 16 × 50 GB 及 200 GB 固態硬碟）
網路介面
10 Gbps 乙太網路雙通道光纖通道聚合式網
路介面卡，整合式雙十億位元乙太網路
（含 TCP-IP 卸載引擎）
4
要擁有 Big Data 必須花千
萬買機器, 百萬買軟體嗎 ?
5
Big Data 迷你小刀鋒
硬體架構
樹莓派（英語：Raspberry Pi），是一款基
於Linux系統的只有一張信用卡大小的單板
機電腦。它由英國的樹莓派基金會所開發，
目的是以低價硬體及自由軟體刺激在學校的
基本的電腦科學教育。
6
Big Data 迷你小刀鋒
作業系統
Debian Linux + Hadoop (HDFS + YARN)
＋
7
Hadoop Distributed File System
(HDFS) 分散檔案系統
8
HDFS 分散檔案系統架構
NameNode
DataNode
DataNode
9
HDFS 分散檔案系統
寫入檔案 (File.txt)
11
HDFS 分散檔案系統
讀取檔案 (Results.txt)
12
Yet Another Resource Negotiator
(YARN) 分散運算系統
13
YARN 分散運算系統架構
Resource
Manager
NodeManager
NodeManager
14
YARN 分散運算系統
執行 MapReduce 程式
15
16
這是一部介紹 Hadoop
現在與未來的電影
17