第十二章資料探勘、商業智慧

Download Report

Transcript 第十二章資料探勘、商業智慧

第十二章 資料探勘、
商業智慧、知識管理
第三篇 企業對消費者B2C篇
大綱
 12-1 資料探勘
 12-2 資料倉儲與資料庫
 12-3 商業智慧
 12-4 知識管理與知識經濟
2020/4/27
第十二章 資料探勘、商業智慧、知
識管理
2
知識管理
 知識管理 (KM; Knowledge Management)
是各企業競爭致勝的關鍵
 精神在於「在適當的時候,將適當的知
識,交給適當的人,儲存在適當的地方」
 當需要相關知識時,能夠正確並且迅速
地取得
 這是完成線上顧客支援的重要因素
2020/4/27
第十二章 資料探勘、商業智慧、知
識管理
3
資料探勘
 資料探勘:從資料庫中發現知識,將隱含的、
先前並不知道的、潛在有用的資訊從資料庫中
粹取出來的過程
 資料探勘的精神:資料探勘提供了在茫茫資料
中尋找蛛絲馬跡,分析並統整,以得到有用的
知識
 資料探勘又稱為資料庫知識發覺 (KDD;
Knowledge Discovery In Database),目的為針
對資料庫當中的資料做分析處理,然後找出尚
未被發覺的知識
2020/4/27
第十二章 資料探勘、商業智慧、知
識管理
4
資料探勘-2
 資料探勘和統計方法的比較:
統計方法:
• 重視整體 (Global) 觀點建立「模型」
(Model)抽樣反應整體
資料探勘:
• 局部 (Local) 的觀點「樣本偵測」
(Pattern Detection)演算法 (Algorithm)
2020/4/27
第十二章 資料探勘、商業智慧、知
識管理
5
資料探勘 -3
 資料探勘的功能:
分類 (Classification):
• 分析對象的屬性,加以分門別類並予以定義,建立類組
(Class)
推估 (Estimation):
• 適用於處理連續性數值的資料,依照既有之相關屬性資料,
以推導一些未知的連續性變數,得到某一屬性的未知之值
預測 (Prediction):
• 特別是針對「未來」的趨勢作推算
關聯分組 (Affinity Grouping):
• 分析「哪些事情總是一起發生?」
同質分組 (Clustering):
• 將一個異質母體,區隔為一些較具同質性的群組
(Clusters)
第十二章 資料探勘、商業智慧、知
2020/4/27
識管理
6
資料探勘 -4
 資料探勘技術:
(1) 購物籃分析
(2) 決策樹 (Decision Tree)
(3) 記憶基礎推理 (MBR: Memory-Based Reasoning)
(4) 類神經網路 (Neural Networks)
(5) 基因演算法 (GA: Genetic Algorithm)
(6) 即時線上分析 (OLAP)
(7) 圖形連結偵側
(8) K平均法 (K-Means)
(9) 凝聚分法 (Agglomeration)
(10) 迴歸分析
(11) 時間數列分析
2020/4/27
第十二章 資料探勘、商業智慧、知
識管理
7
資料探勘 -5
 以購物籃分析、決策樹、記憶基礎理解為例,
說明這些技術如何達成資料探勘功能
 購物籃分析:
藉由分析消費者結帳時的購物籃內容,分析哪些產
品之間的高度相關性
三項元素:關聯規則、可信度、支持度
 決策樹:
人工智慧領域的決策分析機制
利用樹狀結構的資料表示法 (Data Representation),
再加上適當的演算法 (Algorithm)
 選擇一個分隔屬性利用屬性將物件作分類計算
分隔後之平均分散度
2020/4/27
第十二章 資料探勘、商業智慧、知
識管理
8
資料探勘 -6
 記憶基礎推理 (Memory-Based Reasoning,
MBR):
運用人工智慧的方式,以現有資料庫為基礎,對新
資料進行分類與預測
先找出新資料的鄰近資料 (Neighbor),然後根據鄰
近資料,對新資料進行分類及預測
記憶基礎推理需要處理問題的三大主題:選擇歷史
資料,轉換歷史資料,設定距離函數、組合函數、
和鄰近資料的數目
優點:簡單易用、能運用在任何資料型態、甚至是
非關聯式資料上、結論容易推測、在任何數量的變
數下都能運作良好
缺點:佔用大量硬體資源、運算作業繁複、 訓練資
料組需大量記錄、高度依賴距離函數和組合函數
第十二章 資料探勘、商業智慧、知
2020/4/27
識管理
9
資料探勘-7
 資料探勘在企業界之應用:例如行銷、
財務、銀行、製造廠、通訊業等
 早期著重在學術研究
 目前資料探勘在企業界的應用,主要以
銀行界、保險公司、信用卡、郵購、大
哥大通訊公司等等行業最常見
2020/4/27
第十二章 資料探勘、商業智慧、知
識管理
10
資料探勘-8
 特別適合資料探勘技術來處理:
交叉銷售 (Cross Sell):有哪些相關產品,可以順便
銷售某位客戶
廣告分析 (Target ads):分析該針對個別網友給予
哪一種廣告
定價 (Pricing):對於不同網路消費者,可以訂定不
同定價策略,以達到量身訂製的個人化功能
風險管理 (Risk Management):對特定客戶,分析
貸款風險度,以決定該核准多少貸款額度
偵測欺騙行為 (Fraud Detection):比方說,可以用
來分析,某筆刷卡是否可能會有問題
2020/4/27
第十二章 資料探勘、商業智慧、知
識管理
11
資料探勘-9
 當我們在亞馬遜書店搜尋到某一本書時,通常
會接收到相關推薦訊息
 由於網友的搜尋動作是主動並且有意識的,因
此這些推薦訊息是符合網友之興趣的,所以效
果極佳
 甲網友上亞馬遜書店只曾購買書籍,但和其買
過同類型書籍的乙網友、丙網友曾購買過某張
CD,亞馬遜網站便會透過資料探勘技術,運
算出適合推薦予甲網友之CD
2020/4/27
第十二章 資料探勘、商業智慧、知
識管理
12
資料倉儲與資料庫
 資料庫:
對單一時間點對單一資料進行處理。
偏重於擷取詳細之資料。
以提供中階主管之決策參考。
重視資料檔之構成。
2020/4/27
第十二章 資料探勘、商業智慧、知
識管理
13
資料倉儲與資料庫-2
 資料倉儲:
注重於某一段時間內的綜合資料。
其資料有許多來源。
包含很多歷史資料。
資料不會再異動。
包含一些衍生性、彙整性、摘要性的資料。
提供大量資料以分析未來走向與趨勢。
偏重於資料所提供的意義,而非結構。
多半提供高階主管之決策參考。
2020/4/27
第十二章 資料探勘、商業智慧、知
識管理
14
商業智慧
 商業智慧 (BI; Business Intelligence)
 企業智慧、企業智能
 企業在將資料轉換為智慧的過程
在組織中是以 Bottom-Up 方式傳遞
決策階層對於資訊的需求,卻是 Top-Down
的
2020/4/27
第十二章 資料探勘、商業智慧、知
識管理
15
商業智慧
BI 之抽絲剝繭:向下
鑽研明細資料
管理層
ERP 之思考模式:由
基層的交易資料做起
2020/4/27
Drill Down
Bottom Up
決策層
作業層
第十二章 資料探勘、商業智慧、知
識管理
16
商業智慧
 從ERP到BI
OLTP(線上交易處理,On-Line Transaction
Processing)
OLAP(線上分析處理,On-Line Analytical
Processing)
 商業智慧與資料倉儲
進一步以資料探勘技術,找出眾多資料的特性和趨
勢,成為有用、可預測的資訊,再結合決策者過去
經驗,讓該資訊成為知識,經過執行或行動,即是
商業智慧
Drill Down:鑽研明細資料、抽絲剝繭
2020/4/27
第十二章 資料探勘、商業智慧、知
識管理
17
商業智慧產業
 BI廠商:Business Objects、Hyperion、
Cognos、SAS、MicroStrategy、CA、
ProClarity
 BI市場掀起合併風
2020/4/27
第十二章 資料探勘、商業智慧、知
識管理
18
平衡計分卡
 平衡計分卡(BSC,Balanced Scorecard)
 平衡觀念:短期和長期目標、財務和非財務量
度、落後及領先指標、外界和內部績效
 四個構面:財務、顧客、內部流程、學習成長
 關鍵績效指標(KPI,Key Performance
Indicator)
 可將高階主管腦中的策略轉化為員工每天的工
作
2020/4/27
第十二章 資料探勘、商業智慧、知
識管理
19
商業智慧趨勢
 BI與報表系統的分野已漸漸模糊化
報表重列印、BI重分析
報表工具的Drill Down能力較弱
 商業智慧趨勢
大型廠商:產品與技術的標準化
中小企業用戶:套裝的小型專用產品
2020/4/27
第十二章 資料探勘、商業智慧、知
識管理
20
知識管理
 KM; Knowledge Management
 「在適當的時候,將適當的知識,交給適當的人,儲
存在適當的地方」
 知識管理必須先具備下列能力:
 快速學習新事物的能力。
 即時有效轉換為知識的能力。
 快速流通與分享資訊的知識能力。
 能充份運用擁有知識以創造價值的能力。
 知識管理的操作過程包含了三項主要動作:
 知識的創造
 知識的編碼
 知識的擴散
2020/4/27
第十二章 資料探勘、商業智慧、知
識管理
21
知識經濟
 真正建立在知識與資訊之上,對於知識
予以充份激發、擴散、運用的經濟。
 創造知識和應用知識的能力與效率,凌
駕於土地、資金等傳統生產要素之上,
成為支持經濟不斷發展的動力。
2020/4/27
第十二章 資料探勘、商業智慧、知
識管理
22
知識經濟-2
 又被稱為「新經濟」,代表的正是新世紀的以
知識為主的經濟模式。
 又被稱為「零阻力經濟」,代表其以知識資本
為利器,與傳統經濟截然不同的零阻力成長模
式。
 提升企業優勢競爭力的重要利器,就是「知識
資本」。
 在知識經濟時代,強調的是資訊科技的應用,
並且重視顧客需求。因此,運用資訊科技,將
資料儲存在電腦裏,並藉由電腦加以管理,是
在知識經濟時代裏善用知識管理的方式。
2020/4/27
第十二章 資料探勘、商業智慧、知
識管理
23
知識經濟-3
 組織應該具備之能力:
高度學習的適應能力。
彈性因應變動的能力。
價值創新的能力。
2020/4/27
第十二章 資料探勘、商業智慧、知
識管理
24