基于最大頻繁項(xiàng)目集的數(shù)據(jù)挖掘關(guān)聯(lián)規(guī)則算法研究.pdf

1、數(shù)據(jù)挖掘是致力于數(shù)據(jù)分析和理解、揭示數(shù)據(jù)內(nèi)部蘊(yùn)藏知識的技術(shù)，它成為未來信息技術(shù)應(yīng)用的重要目標(biāo)之一。經(jīng)過十幾年的努力，數(shù)據(jù)挖掘產(chǎn)生了許多新概念和方法。特別是最近幾年，一些基本概念和方法趨于清晰，它的研究正向著更深入的方向發(fā)展。像其它新技術(shù)的發(fā)展歷程一樣，數(shù)據(jù)挖掘技術(shù)也必須經(jīng)過概念提出、概念接受、廣泛研究和探索、逐步應(yīng)用和大量應(yīng)用等階段。從目前的現(xiàn)狀看，大部分學(xué)者認(rèn)為數(shù)據(jù)挖掘的研究仍然處于廣泛研究和探索階段，迫切需要在基礎(chǔ)理論、應(yīng)用模式、系

2、統(tǒng)構(gòu)架以及挖掘算法和挖掘語言等方面進(jìn)行創(chuàng)新。關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘中成果頗豐而且比較活躍的研究分支，留給研究者的是更深入的課題。面對大型數(shù)據(jù)庫，關(guān)聯(lián)規(guī)則挖掘需要在挖掘效率、可用性、精確性等方面得到提升。因此，需要探索新的挖掘理論和模型；需要對一些傳統(tǒng)的算法進(jìn)行改進(jìn)；也需要研究新的更有效的算法等。鑒于目前數(shù)據(jù)挖掘技術(shù)和關(guān)聯(lián)規(guī)則挖掘研究的現(xiàn)狀和發(fā)展趨勢，本文選擇了基于最大頻繁項(xiàng)目集的關(guān)聯(lián)規(guī)則算法作為研究對象，并開展相關(guān)工作。
　　

3、本文針對客戶數(shù)據(jù)庫海量數(shù)據(jù)挖掘時間問題，為提高挖掘效率，從多方面滿足用戶分析數(shù)據(jù)的需求，論文借鑒了基于FP-tree最大頻繁項(xiàng)目集挖掘DMFIA算法的相關(guān)思想，通過使用不同的數(shù)據(jù)分析方法，并靈活調(diào)整最小支持度數(shù)，提出了一種新的基于客戶數(shù)據(jù)庫的最大頻繁項(xiàng)目集算法，可以從不同的角度分析數(shù)據(jù)，有效地減少了算法的執(zhí)行時間。通過進(jìn)一步分析發(fā)現(xiàn)原DMFIA算法和基于客戶數(shù)據(jù)庫的最大頻繁項(xiàng)目集算法不能有效地解決客戶序列視圖數(shù)據(jù)庫的數(shù)據(jù)挖掘問題，針對這

4、一問題，借鑒以上算法相關(guān)思想，結(jié)合序列模式提出了一種新的基于序列模式的項(xiàng)目級最大頻繁序列集算法，即將大于或等于最小支持度數(shù)s的項(xiàng)目按支持度由小到大的順序開始做循環(huán)運(yùn)算，但在對MFCSd進(jìn)行循環(huán)運(yùn)算時，若MFCSd中的元素，即以客戶序列為單位的每一項(xiàng)，若所包含事務(wù)的項(xiàng)目支持度均大于或等于進(jìn)行循環(huán)運(yùn)算的某一頻繁項(xiàng)目支持度數(shù)，提取出來形成MFCSk；對MFCSk中以客戶序列為單位的每一項(xiàng)，則統(tǒng)計(jì)該客戶序列在備份MFCS的支持度數(shù)flag，如果

5、flag＞=s'(通常s=s')，則直接將該客戶序列輸出到最大頻繁序列集MFSd，否則將MFCSd該客戶序列中的事務(wù)相互組合形成集合，然后提取集合中所有元素，逐一進(jìn)行循環(huán)運(yùn)算；算法的時間復(fù)雜度將取決于對MFCSd進(jìn)行多次循環(huán)運(yùn)算，何時MFCSd為空，因此這是決定算法執(zhí)行時間的關(guān)鍵。基于序列模式的事務(wù)級最大頻繁序列集算法是在基于序列模式的項(xiàng)目級最大頻繁序列集算法的基礎(chǔ)上的進(jìn)一步研究，即將以事務(wù)為單位的每一項(xiàng)，即取大于或等于最小支持度數(shù)s的

6、事務(wù)按支持度由小到大的順序，以類似于基于序列模式的項(xiàng)目級最大頻繁序列集算法逐一循環(huán)計(jì)算的方式挖掘數(shù)據(jù)庫中的數(shù)據(jù)。接著，本文闡述了挖掘最大頻繁項(xiàng)目序列集ISS_DM算法，針對該算法不能有效地解決客戶序列視圖數(shù)據(jù)庫的數(shù)據(jù)挖掘問題，結(jié)合序列模式提出了改進(jìn)ISS_DM算法，并進(jìn)行了相應(yīng)的驗(yàn)證，結(jié)果表明，在進(jìn)行相同數(shù)據(jù)量的算法執(zhí)行時間對比實(shí)驗(yàn)中，改進(jìn)算法執(zhí)行時間明顯優(yōu)于原算法。最后，針對數(shù)據(jù)倉庫領(lǐng)域的數(shù)據(jù)挖掘問題，將基于序列模式的項(xiàng)目級最大頻繁序

7、列集算法和改進(jìn)ISS_DM算法分別同數(shù)據(jù)倉庫的多維模型相結(jié)合，提出了針對數(shù)據(jù)倉庫多維模型的基于序列模式的項(xiàng)目級最大頻繁序列集算法和改進(jìn)ISS_DM算法。
　　 總之，本文通過對基于FP-tree的最大頻繁項(xiàng)目集的DMFIA算法和ISS_DM算法的研究，針對數(shù)據(jù)庫領(lǐng)域的客戶序列視圖數(shù)據(jù)庫數(shù)據(jù)挖掘問題及數(shù)據(jù)倉庫領(lǐng)域的多維模型，提出了一系列創(chuàng)新算法。實(shí)踐表明，算法有較好的實(shí)用性、可操作性和創(chuàng)新性，具有較好的理論價值，所設(shè)計(jì)的算法在挖掘