Transcript 下載/瀏覽
Index-BitTableFI: An improved algorithm for mining frequent itemsets Knowledge-Based Systems 21 (2008) 507–513 作者:Wei Song,Bingru Yang , Zhangyan Xu 報告者:涂 剛 大綱 前言 相關研究 研究方法 實驗結果分析 結論 前言 資料探勘是從大量資料中找出隱藏、潛在有用的資 訊與知識,對於支援企業行銷決策,將提供極有幫 助參考資訊。 資料探勘大致上可分為:關聯規則、分群、分類、 次序相關分析及預測等。 在探勘關聯規則的方法中,Apriori演算法是最常被 使用的方法之一。 相關研究 Apriori演算法探勘關聯規則的步驟 1. 找出frequentk-1,k>1,若為,則停止執行 2. 由步驟(1)組合前兩項k-2項目相同的frequentk-1,形成itemsetk 3. 判斷由步驟(2)找出的itemsetk,所有包含的itemsetk-1之子集 合是否都出現在步驟(1),若成立就保留此itemsetk,否則就 刪除 4. 檢查由步驟(3)擷取的itemsetk是否滿足最小支持度,若符合 就成為frequentk,否則就刪除 5. 計算frequentk所形成的關聯規則,若滿足最小信賴度,則關 聯規則成立 6. 跳至步驟(1)找frequentk+1,直到無高頻項目組為止 研究方法(1/4) 這篇研究主要是改良Apriori演算法,使其可以達到 更高效率的探勘結果。 使用了Index Array (IA),可讓相同的代表項目直接 透過代表項目即能知道是在哪一個索引項目裡。 使用了BitTable表格,可以降低不必要的候選項目組 以及減少計算支持度的個數。 對於多餘的項目集不用多次掃描,使其效率更高。 研究方法(2/4) 首先由基本資料庫轉換,使用升冪排列方式,小於 最小支持度者刪除 A :8、 B:2、 C:8、 D:2、 E:8、 F:2、 G: 5 研究方法(3/4) Index Array :(B,FACE)、(D,AC)、(F,ACE) 、 (G,AC)、(A,C)、(C, Ø)、(E,Ø) 研究方法(4/4) 先由廣度搜尋再由深度搜尋index array :(B,FACE)、 (D,AC)、(F,ACE) 、(G,AC)、(A,C)、(C, Ø)、(E,Ø) 實驗結果分析 結論 資料庫是會隨時間而逐漸龐大,因此要如何減少項 目組的產生,加速候選項目組的產生。 要如何設計出高效能探勘,有效減少搜尋掃描時間 才是資料探勘最主要的目的。