Transcript 非樹狀貝氏網路
貝氏網路簡介
主講人:劉湘川
生物資訊研究所暨心理系
亞洲大學
1
網路(Bayesian Networks) 別名
貝氏推估網路 (Bayesian Inference
Networks)
貝氏信念網路(Bayesian Belief
Networks)
信念網路( Belief Networks)
因果關係網路( Causal Networks)
機率網路 ( Probabilistic Networks)
影響力圖表( Influence Diagram )
2
貝氏網路之基本定義
3
貝氏推論:
善用先驗知識或專家意見並結合可觀察資訊之機率推
論模式稱為貝氏推論
非循環有向圖形:
以頂點集及有向邊集所組成之圖形稱為有向圖形,無迴圈
(loop)及迴路(cycle)之有向圖形稱為非循環有向圖形
(directed acyclic graph: DAG)
貝氏網路:
對不確定事務之描述與推論,以貝氏推論為基礎之非循環
有向圖形模式稱為貝氏網路(較嚴謹之定義如次頁)。
馬可夫條件與貝氏網路
[定義]
已知G=(V,E)為一DAG. V X1, X 2 ,..., X n
pa X Y | Y X ,Y V 為X之親代集
n
若
P V P X1 , X 2 ,..., X n P X i | pa X i
i 1
則稱聯合機率 P P V P X1, X 2 ,..., X n 滿足馬可夫
條件(Markov condition),
且稱(G,P)為貝氏網路
4
貝氏網路之基礎--貝氏定理
Thomas Bayes (1763)提出
P x, y | z P x | z P y | z X Y | Z
P z, x P z P x | z
P z | x
P x
P x
P x EZ P x | Z z P z P x | z normalized probability
P z : prior probability
P x | z : likelihood probability
5
P z | x : postrior probability
貝氏定理基本概念
B2
B1
B3
U
E
Thm : U
n
Bi , Bi
i 1
P Bk | E
B j , i j
P Bk E
PE
P Bk P E | Bk
n
P B P E | B
i 1
6
Bn
…
i
i
n
n n
n
P E P E U P E Bi P E Bi P E Bi P Bi P E | Bi
i 1
i 1
i 1 i 1
事件獨立基本概念
1
S 1, 2,3, 4,5,6 , f x , x S
6
A 1,3,5 , C 2, 4,6 , D 1, 2,3 , B 1, 2
1
P A P A | S P C P C | S , 樣本空間改變 : S D, B
2
A D A D / S P A D 2
1
P A | D
P A
D
D/S
P D
3
2
7
P A | B
P A B
P B
1
P A A B
2
事件獨立之定義
若P A , P B 0, 則
P A | B
P B | A
P A B
P B
PB
A
P A
P A P A B P A P B A B
P B P B
A P B P A B A
一般化 :
Def : P A B P A P B A B B A
8
Def : P A B | C P A | C P B | C A B | C B A | C
貝氏網路聯合機率聯鎖法則
貝氏網路為B(G,P);其中G=(V,E)為一非循環有向
圖DAG,P P x1 | 1 , P x2 | 2 ,..., P xn | n
為一組條件機率, i 代表頂點 xi 之親代頂點所成之
集合,且由P可簡化定義G中所有頂點x之聯合機
率密度(jpd)如下式:
n
P X P xi | i 其中 X x , x ,..., x
1 2
n
i 1
註:無親代之頂點 xi 之邊際機率可記為
9
P xi P xi | P xi | i
貝氏網路推論過程之三種推理
10
演繹推理(Deductive reasoning):由一般至特
例之推理,即由因至果之推理,如黑格爾之三
段論證。
歸納推理(Inductive reasoning):由特例至一
般之推理,即由果至因之推理,如數學歸納法
設因推理(Abductive reasoning):為綜合歸納
與演繹之推理,先歸納觀察之果假設可能之因,
再由可能之因演繹所有可能之果,若有非預期
之果,則修正原有假設,形成新假設。
貝氏網路推論過程四步驟
11
1.設因推理引導模式之建構:
參考研究成果與先前經驗建立模式基本架構,並以統計
分析加以改進。
2.演繹推理附加事前參數估計:
從給定模式之變數結構,設定觀察變項之先驗分布。
3.歸納推理求出後驗分布:
自特定學生之反應或行為觀察值,更新模式之信仰機 率,
進而推論該模式潛在變項之狀態,此即證據式推理。
4.設因推理擴展學生模式架構:
由資料中非預期類型促發之歸納結果,形成模式更新假
設,再由新的假設演繹新的結果,並進行檢定。
貝氏網路機率推論核心
貝氏網路證據推理過程中,如何根
據機率理論自給定學生之作答觀察
值,推論該模式潛在變項之狀態,
以求得後驗分布。必須要有嚴謹有
效之「推論規則」或「推論方法」 ,
此為貝氏網路機率推論核心。
12
貝氏網路四種推論方法
13
1.信息傳遞法(message passing)
(Pearl 1988)
2.區塊樹法(trees of cliques) [應用最廣]
(Lauritzen & Spiegelhalter 1988) (Jensen 1996)
3.質之傳遞(qualitative propagation)
(Henrion & Druzdzel 1990)
4.馬可夫鍊蒙地卡羅法(Markov Chain Monte
Carlo : MCMC)
(Gelman, Carlin, Stern, & Rubin, 1995)
樹狀貝氏網路證據推理簡介
14
任一頂點至多一親代者稱為「樹狀貝氏網路」
任一頂點至多一親代及一子代者稱為「鍊狀貝
氏網路」
鍊狀貝氏網路亦為一種「樹狀貝氏網路」
鍊狀貝氏網路與樹狀貝氏網路均可直接重複使
用貝氏定理與條件機率進行證據傳導(Jensen,
1996)
鍊狀貝氏網路證據推理簡介
更新X的
機率分配
根據新的X 使用
P z | x
Pz Px | z
P x
根據更新之X,
以條件機率更新
Y之機率分配
更新Z的機率
Z
15
P x | z
X
Y
P y | x
鍊狀與樹狀貝氏網路兩種證據推理
16
由「因變數」之證據,藉條件機率至「果變數」
之可能發生機率」,其證據推理過程即「預測」
由「果變數」之證據,藉貝式定理至「因變數」
之可能發生機率,其證據推理過程即「診斷」
樹狀貝氏網路證據推理簡介
根據新的證據X
使用貝氏定理
V
U
更新V的機率
診
斷
預
測
根據更新之X,
以條件機率更新
Z之機率分配
X
Y
17
預
測
預
測
Z
非樹狀貝氏網路區塊樹法簡介
18
貝氏網路中至少有一頂點間不只一親代者,稱為
「非樹狀貝氏網路」
非樹狀貝氏網路無法直接重複使用貝氏定理與條件機
率進行證據傳導(Jensen, 1996)
非樹狀貝氏網路可先將變項群組為幾個區塊(clique)子
集,使得每一區塊子集形成一鍊狀或樹狀貝氏網路,
則區塊內之變項可利用上述樹狀貝氏網路證據傳導規
則進行機率更新,並透過區塊交集進行區塊間之證據
傳導,最後更新整個網路變項機率。
非樹狀貝氏網路之例
W
V
X
U
Y
19
Z
非樹狀貝氏網路之例
V
W
區塊化與區塊交集
X
U
Z
Y
U,V
U,V,W
20
X
U,X
U,V,X
U,X,Y
X,Z
非樹狀貝氏網路醫學診斷架構之例
(Mislevy,1995)
流行性感冒x1
發燒x3
一疾病診斷貝氏網路 ,
21
咽喉感染x2
喉嚨痛x4
x1 , x2 , x3 , x4 均為二元(是、否)變項
醫學診斷例之證據推論步驟
如何根據先前之資料分配及患者A之症狀(證據),
透過上述貝氏網路架構推論其感染二種疾病之機
率。列出其實際執行之七步驟如下:
[步驟1] 變項聯合分配之遞迴表徵,並利用條件獨
立性質簡化聯合機率分配如下:
P x1, x2 x3 , x4 P x1 P x2 | x1 P x3 | x1, x2 P x4 | x1, x2 , x3
P x1 P x2 P x3 | x1, x2 P x4 | x1, x2
22
否則由連鎖乘積法則知P x1, x2 , x3 , x4 可有4!種展開式
由連鎖乘積法則知P x1, x2 , x3 , x4 可有4!種展開式
P x1, x2 , x3 , x4 P x1 P x2 | x1 P x3 | x1, x2 P x4 | x1, x2 , x3
P x1, x2 , x3 , x4 P x2 P x3 | x2 P x4 | x2 , x3 P x1 | x2 , x3 , x4
P x1, x2 , x3 , x4 P x3 P x4 | x3 P x1 | x3 , x4 P x2 | x3 , x4 , x1
P x1, x2 , x3 , x4 P x4 P x1 | x4 P x2 | x4 , x1 P x3 | x4 , x1, x2
P x1, x2 , x3 , x4 P x3 P x1 | x3 P x2 | x3 , x1 P x4 | x3 , x1, x2
P x1, x2 , x3 , x4 P x2 P x4 | x2 P x3 | x2 , x4 P x1 | x2 , x4 , x3
23
[步驟1]決定先驗機率及條件機率
1. 經由理論、專家意見、或實證資料決定 x1 , x2 之
先驗機率 P x1 1 P x2 1 0.11, P x1 0 P x2 0 0.89
2.經由理論、專家意見、或實證資料決定條件機率,可由
MCMC法估計實證資料所須條件機率。
x1
24
x2 P x
3
1| x1, x2 P x3 0 | x1, x2
x1
x2
P x4 1| x1, x2 P x4 0 | x1, x2
1
1
0.99
0.01
1
1
0.91
0.09
1
0
0.90
0.10
1
0
0.05
0.95
0
1
0.90
0.10
0
1
0.90
0.10
0
0
0.01
0.99
0
0
0.01
0.99
[步驟2]表徵為非循環有向圖
25
頂點表變項,箭號由因頂點指向果頂點,表變項間條件相
依關係
將代數表徵對應至圖形表徵(DAG)
非直接關聯變項間之條件獨立關係可由下三者決定
序列連通 為「中知端斷」
即中間變項證據確知時,兩端變項為條件獨立
發散連通 為「因知果斷」
即中間因變項證據確知時,兩端果變項為條件獨立
收斂連通 為「果知因連」
即中間果變項證據確知時,兩端因變項為條件獨立
序列連通變項間之條件獨立關係
P y
P x | y
P z | x
e
Y
X
有雲
下雨
Z
地濕
若確知下雨則不論有雲與否地濕機率均較大,即
中間X證據為確知時,兩端Y與Z為有向隔離,
即Y與Z為條件獨立,亦即:中知端斷
26
發散連通變項間之條件獨立關係
P y | x
P x
P z | x
Y
X
Z
髮長:長,短
性別:男,女
身材:高,矮
X性別確知時,不能由髮長Y之訊息直接推論身材Z訊息,
即Y與Z為條件獨立:亦即:因知果斷
27
收斂連通變項間之條件獨立關係
P y
P x | y, z
P z
Y
X
Z
嘔吐
流行性感冒
沙門氏菌感染
w
蒼白
X嘔吐為確知時,則發生Y與Z之原因
必互有消長互相傳遞,亦即:果知因連
28
反之:X嘔吐未確知時,因頂點Y與Z
為有向隔離,即Y與Z為條件獨立
[步驟3]表徵原圖為無向三角化圖
1.子頂點與所有親頂點均相連
2.去除邊之方向
3.三角化無向圖(Triangulated graph):一無向圖中,若所
有包含變項自己之迴路長皆不大於3,則稱此圖被三角化
4.三角化對應之三維機率表尚可判讀,四角化則無此優點
流行性感冒x1
29
發燒x3
咽喉感染x2
喉嚨痛x4
[步驟4]決定區塊與區塊交集
區塊:無向圖中之任一最大完整子圖稱為一區
塊(clique),亦即:任一區塊不會是其他區塊
之子圖,兩相異區塊之頂點數可不相同。
區塊交集:兩區塊重疊之變項所成集合
稱為區塊交集。
根據圖形理論定義決定區塊與區塊交集,以利
於後續證據之傳導。
30
點數不同區塊之例
區塊交集
x1
x2
區塊2
(點數為3)
x3
31
區塊1(點數為2)
x4
[步驟4]決定區塊與區塊交集(續)
流行性感冒x1
發燒x3
32
區塊1
區塊交集
咽喉感染x2
喉嚨痛x4
區塊2
[步驟5]轉成聯合樹表徵
區塊1
流行性感冒x1
咽喉感染x2
發燒x3
區塊交集
流行性感冒x1
咽喉感染x2
貝氏網路轉為聯合樹
33
區塊2
流行性感冒x1
咽喉感染x2
喉嚨痛x4
[步驟6]將[步驟1]之條件機率轉成聯合機率
變項之初始聯合機率 P x1, x2 P x1 P x2 , P x1, x2 , x3 P x1, x2 P x3 | x1, x2
x1 x2
34
P x1, x2
P x1, x2 , x3 1 P x1, x2 , x3 0 P x1, x2 , x4 1 P x1, x2 , x4 0
1
1
0.0121
0.0120
0.0001
0.0110
0.0011
1
0
0.0979
0.0881
0.0098
0.0049
0.0930
0
1
0.0979
0.0881
0.0098
0.0881
0.0098
0
0
0.7921
0.0079
0.7842
0.0079
0.7842
0.8039
0.1119
0.8881
0.1961
區塊交集
區塊1
區塊2
[步驟7]以後驗機率更新架構
最後步驟為將已觀測到之變項機率重新調整,
再根據下式之條件機率進行其他變項機率之更
新,後續則可採用更新之機率診斷學生之錯誤
類型與概念缺失。
Pnew x1 , x2 , x4 Pold x4 | x1 , x2 Pnew x1 , x2
Pold x1 , x2 , x4
Pnew x1 , x2
Pold x1 , x2
35
[步驟7]以後驗機率更新架構(續)
Pold x1 , x2 , x4
Pnew x1 , x2 , x4 Pold x4 | x1 , x2 Pnew x1 , x2
Pnew x1 , x2
Pold x1 , x2
Pnew x1, x2 , x4 P x1, x2 , x4 | x3 1 P x1, x2 | x3 1 P x4 | x1, x2 , x3 1
P x1 , x2 , x4
x4 x3 | x1, x2 P x4 | x1, x2 , x3 1 P x4 | x1, x2 P x , x
1 2
P x1 , x2 , x4
P x1 , x2 , x4 | x3 1
P x1, x2 | x3 1
P x1 , x2
36
Pold x1 , x2 , x4
Pnew x1 , x2 , x4
Pnew x1 , x2
Pold x1 , x2
[步驟7]以後驗機率更新架構(續)
已知可觀察變項 x3 1
後更新之聯合機率
Pnew x1, x2 , x4 Pnew x1, x2 Pold x4 | x1, x2
x1 x2 Po x1, x2 , x3 1 Pn x1, x2 P x 1| x , x P x 0| x , x Pn x1, x2 , x4 1
o
37
4
1
2
o
4
1
2
Pn x1, x2 , x4 0
1
1
0.0120
0.0612
0.91
0.09
0.0557
0.0055
1
0
0.0881
0.4493
0.05
0.95
0.0225
0.4268
0
1
0.0881
0.4493
0.90
0.10
0.4044
0.0449
0
0
0.0402
0.01
0.99
0.0004
0.0398
0.4830
0.5170
0.0079
0.1961
正規化
貝氏網路推論簡介結論
38
根據上述七步驟,吾人則可由假定的先驗分
配,再結合可觀察的証據,去推論不可觀察的
潛在變項發生的機率,例如在上例中,根據病人之症
狀推論他感染某種病之可能性有多大。
在上例中,已知病人發燒,則喉嚨痛之機率為0.4830,
流行性感冒之機率為0.5105,喉嚨感染之機率為
0.5105,兩種病同時感染之機率為0.0612,只感染其
中一種病之之機率為0.8986,只感染流行性感冒之機
率為0.4493,只喉嚨感染之機率為0.4493,兩種均不
感染之機率為0.0402。