增量數(shù)據(jù)挖掘算法LIUA的設計及應用.pdf

1、近年來，數(shù)據(jù)挖掘技術的研究引起了國際人工智能和數(shù)據(jù)庫等領域專家與學者的廣泛關注。在事務數(shù)據(jù)庫中挖掘關聯(lián)規(guī)則是數(shù)據(jù)挖掘領域中的一個非常重要的研究課題。目前以Apriori算法為基礎所推導出的各種數(shù)據(jù)挖掘技術，大多是針對靜態(tài)的數(shù)據(jù)，從中挖掘出用戶感興趣的關聯(lián)規(guī)則。這種方法雖然實現(xiàn)簡單，但是它沒有充分利用已經獲得的發(fā)現(xiàn)結果，太浪費計算時間及硬件I/O，因此效率非常低下。 本文所提出的LIUA算法充分利用已經獲得的發(fā)現(xiàn)結果，將已經挖掘過

2、的數(shù)據(jù)科學地、妥善地處理及保存，使得新增數(shù)據(jù)時能重復利用，這樣大大提高了時效，在商業(yè)運用上非常有價值。 1.研究了挖掘關聯(lián)規(guī)則的經典算法Apriori以及常用的幾種增量關聯(lián)規(guī)則的挖掘算法FUP、IUA，分析了它們的執(zhí)行效率，指出了其效率低下的主要原因是由于多次迭代掃描、每次迭代產生數(shù)目更大的頻繁集造成的。 2.在分析總結了原有算法的基礎上，提出了LIUA算法。該算法只掃描一次數(shù)據(jù)庫，就能把符合要求的關聯(lián)規(guī)則挖掘出來，擺脫

3、了傳統(tǒng)算法多次迭代的不足，采用以空間換取時間的技術，大大提高了挖掘效率。同時將挖掘出來的結果有效地保存，以便下次增量挖掘時充分利用，而且還可以減少傳統(tǒng)挖掘算法“少挖”、“漏挖”的現(xiàn)象。 3.實現(xiàn)了LIUA算法。通過對其測試結果與Apriori算法的測試結果進行比較，進一步證明了該算法的高效性以及挖掘的充分性。 文中描述了LIUA算法處理AVIM系統(tǒng)收集的數(shù)據(jù)的過程，對挖掘出的關聯(lián)規(guī)則進行了分析，并用來指導人們的生活，指出