Transcript 下載/瀏覽
基於群組技術之廣義關聯規則
探勘
郭煌政/吳柏良
指導教授：郭建明
班級：碩研資管一甲
學生：洪書涵 m9490231
論文大綱
•
•
•
•
概論
非階層式分類之探勘廣義化關聯規則
實驗結果
結論
概論
• 隨著電腦與網路的進步，資料的取得日漸容易，使得
資料庫(database)中的資料量驟增；資料庫具收集資
料、查詢等功能。
• 故資料探勘技術也就因此而興起，透過資料探勘技術，
使用者可以在資料庫中，有效率的找出資料之間有用
的資訊。
廣義關聯規則探勘
• 一般廣義關聯規則探勘的做法為利用預先對項目建立
好之階層式分類，對任一階層進行關聯規則探勘。
優點：可藉由專家，據經驗來進行高準確
率的分類。
缺點：人為的偏見、資料大量異動難以處
理、架構維持費時費力。
研究方法
• 提出一個不需先對項目做分類，基於群組技術非階層式
的探勘廣義關聯規則的作法。
• 利用對交易資料之中，找出項目之間的相似度，建立出
相似矩陣，再利用群組技術於相似矩陣，對所有的項目
分群組，再依分群組後結果來探勘廣義關聯規則。
間接相似矩陣產生演算法
• 演算法分為兩各階段：
a.連結矩陣產生階段。
b.利用連結矩陣產生相似矩陣階段
連結矩陣產生演算法
a
b1
利用連結矩陣計算出共同鄰居數
M
之連結數，其中 link [i][ x] link [i][ y]
• 當欲知項目x 與項目y
，link[s][t]表連結矩陣之中，s 行t 列之值。
i 1
• 如欲知項目c 與項目d 之共同鄰居數
=1*1+1*1+0*2+2*0+1*1=3. 依此方法，利用連結矩陣
逐一算出相似矩陣之值。
b
b1
使用相似矩陣進行群組技術
• 首先，相似矩陣記錄了項目與項目之間的連結數。而
當兩項目之間存在連結時，則在兩項目之間，給定一
邊(edge)，其權重(weight)為其連結數。
c
使用相似矩陣進行群組技術
• 選則使用k-Medoids來進行分群組，並將其分為3個步
驟：
1.首先，將每個節點皆視為一個群組。
2.將最接近的兩個群組合為一個。
3.反覆步驟2，直至得到k個群組為止。
• 相似強度計算公式：
使用相似矩陣進行群組技術
• 令k=2，初始時，該圖分為5 個群組：{草苺醬}、{花生醬}、{起
司}、{火腿}與{沙拉醬}。
• 接著，將距離最接近的群組合為一個，則將{起司}與{火腿}的距
離為8，為最權重最高者，將其合併為{起司，火腿}；而現在最接
近的兩個群組為{草苺醬}和{花生醬}，其距離為7，將其合併為
{草苺醬，花生醬}；最後，{起司，火腿}與{沙拉醬}的距離為
(4+6)/4=2.5，而{草苺醬，花生醬}與{沙拉醬}的距離為0/4=0，
故得到{起司，火腿，沙拉醬}與{草苺醬，花生醬}這兩個群組。
• 最後，可將m 個相異項目，分入k 個群組之中。而若一群組之中
的項目個數若大於1，則將該群組視為一概念上的項目，而該群組
之中的項目則屬於該概念上的項目。
c
使用群組技術結果進行
廣義關聯規則探勘
• 讓使用者決定群組的數目k，藉由調整k 值，來找出廣義關聯規則。
當k 值越小，則每個群組平均包含項目數增加。而每個概念上的項
目所包含項目數增加，則可提昇概念上的項目之支持度，以找出更
為廣義之關聯規則。
• 當得到k個群組後，接著對原先交易資料庫進行廣義化。首先，檢查
交易資料庫中的每個項目屬於那一個群組。若該群組只有一個項目，
則保持原項目；若該群組有多個項目，則該群組為一概念上之項目，
則將該項目以該群組所對應之概念上之項目進行替代。而當同一筆
交易中，出現多個相同之概念上的項目時，再將原來交易資料庫替
代後之結果，放在一新產生之廣義交易資料庫中。
實驗結果
• 我們使用了IBM 資料產生器產生的綜合性資料，其每筆
交易平均為10個項目。
• 在以下實驗，我們進行分群組時，將k-Medoids 中的k
設為500，而執行時間則包含檔案讀取、演算法計算及
將計算後結果寫入檔案。
• 而在實驗中，大多計算時間花在相似矩陣之建立。如有
一個交易資料庫，其中有1,000個相異項目，100,000
筆交易，每筆交易平均長度為10。若使用直接相似矩陣
產生演算法來運算，計算次數為1018 加上5000 次資料
庫掃描。若使用間接相似矩陣產生演算法則只需計算
109+ 107次與一次資料庫掃描即可!
實驗結果
• 在圖2可明顯看出，我們的演算法隨著交易個數呈線性
關係；而由圖3結果，可看出相異項目的個數對我們的
演算法有較大的影響。
實驗結果
• 群組技術之結果評估，以下示兩方程式進行群組技術，
進行實驗評估。
實驗結果
結論
• 我們提出了一個對交易資料庫中之項目進行分群組的
方法，再利用該方法來探勘廣義關聯法則；而不同以
往的是項目不須先經過專家建立好的階層式分類，就
可以找出額外的關聯規則。
Q&A