Transcript PowerPoint

巨量資料分析介紹與案例分享
巨量資料簡介
財團法人資訊工業策進會
財團法人資訊工業策進會前瞻所
ARI, Institute for Information Industry
1
巨量資料特徵與趨勢
經濟可負擔的處理
大量成長的資料
Volume (大量)
50x
35 ZB
2010
能夠反應不斷且更
快速到達的資料
Velocity (快速)
整合性收集與分析
更多元的資料
Variety (種類多)
超過300億
全球80% 資
RFID 感測裝置
料為非結構性
2020
建立巨量資料來
源的可信性
Veracity(真實性)
不確定與不準確的資料
1 in 3 企業領導者不信任他們用來作為
企業決策的資訊真實性
關鍵 – 資料的可信性
2
資料來源：IBM
急遽成長的巨量資料帶來結構性變革
預估至2015年，80%的可用資料有不確定性
2015年時，聯網的設備將比全球總人口
多一倍，感應器所產生的資料都有不確
定性
社群媒體帳戶數超過全球人口總
量，這些資料的內容和表達都充
滿不確定性
企業可用特定方案改善客
戶、產品和地址等資料的
品質，但這些資料只占整
體企業資料的一小部分
資料來源: IBM, 2012
善用巨量資料可大幅提升競爭力與經濟效益
單位：百萬美元
巨量資料 硬體/軟體/服務商機
7,000
• 全球市場：IDC 估計巨量資料將會貢獻
40%的複合年成長率 (CAGR)
6,000
5,000
– 2012年全球市場價值估計為 $6.8 B USD;
預期在 2016 達到$50.7 B USD
• 大陸市場：IDC 預測 大陸巨量資料市場
在未來5年內的將以51.4% CAGR 成長
– 從2011到2016年預測巨量資料市場價值
從77.6 成長到617 million USD.
巨量資料產業應用價值
4
2010
4,000
2011
3,000
2012
2,000
2013
1,000
2014
2015
0
資料來源：IDC
政府以巨量資料打擊與預防犯罪，強化國安
巡邏報告
動態犯罪預警熱圖
犯罪紀錄
曼菲斯警局
即時且大量資料分析
精準預防犯罪
• 即時監控犯罪高風
險區域
• 即時反應犯罪移動
軌跡
降低
社群討論
30%犯罪率
• 表情緊張
• 無目標性行走
• 刻意低頭…
重案結案率提升
54%
通聯記錄
監視影像
• 拿起又放下背包
• 來回徘迴
• 明顯不關注賽事…
即時監控影像
現場照片
• 表情差異顯著
• 特徵吻合
• 出現頻繁…
2日內成功確認嫌犯身分，並於4日內逮捕歸案
5
聯邦調查局
結合群眾外包
快速偵破波士頓爆炸案
零售業如何透過巨量資料創造獨特競爭
以巨量資料創造創新商業模式，打造快速時尚王國
「Zara 是快速時尚(fast fashion)的先驅，從此改變了
時尚世界的遊戲規則。」
- 紐約時報
「全球最創新、具破壞性的零售商，非 Zara 莫屬。」
-LVMH 集團時尚總監皮耶特(Daniel Piette)
西班牙時尚服飾品牌
分店橫跨74國超越2千家
2013市值最高成衣品牌($20B)
整合虛實商店銷售、討論與行為資訊，掌握時尚趨勢，快速生產鋪貨
實體店面(Off-line)
監視影像
線上商店(On-line)
每日資料回報
新品上市前測
顧客意見
銷售紀錄
23.6%毛利率
高於LVMH等精品集團
平均
線上討論
流行趨勢分析
分眾偏好掌握
快速設計打版
即時資料回報
2週可推出一新品
一年
分眾快速鋪貨
約為其他品牌的6倍快
6
點擊紀錄
試賣紀錄
12,000款時裝
且每天可賣出110萬件產品
電子商務以巨量資料驅動服務差異性與競爭力
• 全球最大的線上市場集團，包含阿里巴巴B2B、淘寶
網、天貓、一淘網、阿里雲計算及支付寶等，具備完
整電子商務生態體系
以巨量資料分析為商業核心驅動力，打造以消費者為導向之電商系統
• 消費者數據研究
平台，了解市場
購物趨勢
• 提供商家數據
化營運支援
單日RMB
淘寶
指數
電子 商務大量交易資料
(交易量、點擊紀錄、分眾偏好…)
數據
魔方
350億營業額
2013光棍節創下世界紀錄
iSPI
指數
• 綜合反映網絡零
售商品/服務的一
般價格水平
數據
地圖
4.8萬件商品
每分賣
總商品數超過8億件
7
超過
• 圍繞地圖視角呈
現的可視化在線
交互產品
5億會員數
每日訪客數為台灣人口三倍
槓桿社群與公開性資料提升預測準確性
天氣
過去60年天氣資訊
820億次分析
即時天氣比對
成功預測
未來40天氣象
股價
健康
上億條社群推特/討論
語意與情感分析
和美國疾病控制及預防
中心合作，以關鍵字搜
尋次數掌握流感
準確率達87.6%
15%投資報酬率
提前2週
掌握流感爆發關鍵
8
輔以巨量資料的創新事業模式創造高價值
$3M 和 $200M收購值的差別在哪裡?
• Groupon以$3M美元收購地圖日記
– 百萬網友團購網 - 數位時代 2010年12 月
• APP致富！LINE母公司以$17.7M美元併購「走著瞧」
– 陌生號碼辨識與簡訊封鎖APP
– gogolook開發的whoscall，目前已累積了超過500萬用戶，每日
活躍用戶高達一百萬人 - 2013年12 月
• 蘋果以$200M美元收購社交分析服務公司 Topsy
– 提供社交分析服務
– 分析Twitter 5億用戶所產生每日5億個推文資訊
資料量與分析決定了企業價值!!
機會與挑戰：跨領域整合與人才培育
 需要跨領域組合商業領域專家、模型與分析(資料科學)專家以及資
料工程專家成為巨量資料分析研究團隊，協同合作從事分析模型及
解決方案
 2015全球巨量資料分析專業職位將達440萬人，人才將短缺將達280
萬人 (Gartner, 2013)
領域
運用分散式系統
運算，收集、處
理、整合管理多
元性資料
運用統計、機器
學習技術，找出
資料中的隱藏模
式關聯性
資料管理
運用視覺化技術，
詮釋由資料而得的
洞悉，進一步協助
決策的形成
分析探索
視覺呈現
硬體
軟體
分析
決策
(電機領域)
(資訊領域)
(數學領域)
(商管領域)
10
專門
知識
分析
應用
技能
資料
管理
技能
巨量資料
價值實現
資策會巨量資料分析發展願景
軟硬整合提升差異化價值，結合創新服務與商業模式，以硬帶
軟進軍國際市場，以軟帶硬彰顯競爭力，帶動智慧產業發展!
透過開放平台營運，提供知識整合與加值應用及測試環境，使產學研研發可快速整
合介接，領域應用知識可快速累積，持續巨量資料相關技術深化!
學研研發整合
產業實務整合
加速BDA技術整合與應用能量
擴充BDA智慧產業應用多元性
Big Data / Open Data
Application Platform
以硬帶軟
硬體(Commodity Server, Storage)
11
以軟帶硬
零售批發業
資策會重點發展領域
智慧產業發展
健康照護
Individual/
• 佔台灣GDP 19.3%
• 服務型態發展靈活多元化，超
商、購物中心密度世界第一
Smart LIving/Smart CIty
製造業
• 佔台灣GDP 25.6%
• PC製造佔全球90%，前五大
PC製造商產值皆超過
台幣三仟億
媒體與觀光 – 新興機會
• 傳統媒體客群急速流失，
行動化、雲端多螢服務
成為主流
• 我國觀光產值僅佔GDP4%，相
較國際平均9%有大幅成長空間
政府與社會關注議題
• 美國醫療照護每年將可達到3千
億應用成效，其中2/3來自每年
減少8%不要的醫療支出 (MGI)
• 台灣健保具龐大的健康醫療資訊，
善加運用應可創造顯著成效
•
Smart
能源服務
• 台灣依賴進口能源
• 節能省碳日益重要
• 技術與產業急待發展
Smart
overnment
教育與人力資源
• 國際競爭與人口結構改變使人
力素質為台灣發展之關鍵
• 教學與學習效能的提升、 教育
資源應用優化為發展機會
Business
G
資訊安全 • 網際網路資安威脅日新月異，種類多、量大、速度快
• 政府與企業難以拼湊資安威脅之全貌，急需提升防禦能力
共通平台
巨量資料管理平台
• 80%鉅量資料分析工作耗費於
資料擷取與準備，技術門檻高
雲端儲存與運算
Smart
nfrastructure/platform • 鉅量資料大且快的特性，促使雲
I
‹#›
端儲存與運算的重要性共伴相生
Thank you!
13