基于AFOPT-tree的最大頻繁項(xiàng)集挖掘.pdf

1、隨著信息產(chǎn)業(yè)尤其是互聯(lián)網(wǎng)行業(yè)的高速發(fā)展，使得人們獲取和存儲(chǔ)數(shù)據(jù)的能力不斷提高，數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù)以指數(shù)形式不斷增長(zhǎng)。但在這些海量數(shù)據(jù)中，真正對(duì)于人們有決策價(jià)值的知識(shí)卻相對(duì)匱乏，關(guān)聯(lián)規(guī)則挖掘正是用于揭示數(shù)據(jù)集中不同的項(xiàng)或者屬性之間的關(guān)聯(lián)性，找出有價(jià)值的多個(gè)屬性之間關(guān)聯(lián)關(guān)系。而最大頻繁項(xiàng)集中隱含了所有頻繁項(xiàng)集，占用的內(nèi)存空間較小，并且在挖掘的過(guò)程中只用挖掘最大頻繁項(xiàng)集，可以有效的減少遞歸次數(shù)和內(nèi)存應(yīng)用，且有些數(shù)據(jù)挖掘應(yīng)用中也只需要獲得最大頻

2、繁項(xiàng)集，因而最大頻繁項(xiàng)集挖掘的研究有著重要的意義。
　　在如今面對(duì)大規(guī)模稠密數(shù)據(jù)項(xiàng)集時(shí)，超集檢測(cè)逐漸成為最大頻繁項(xiàng)集挖掘算法運(yùn)行中耗時(shí)最多的步驟，是算法效率提升的一個(gè)瓶頸;并且現(xiàn)有的最大頻繁項(xiàng)集挖掘算法大都采用基于FP-tree的模式對(duì)于空間搜索樹(shù)進(jìn)行遍歷，在自項(xiàng)向下的遍歷策略中效率并不高。因此本文在查閱了大量國(guó)內(nèi)外相關(guān)論文和文獻(xiàn)的基礎(chǔ)上，針對(duì)這兩方面的問(wèn)題，本文改進(jìn)了基于投影的超集檢測(cè)算法，提出了基于AFOPT-tree的最大頻

3、繁項(xiàng)集算法A-MFI，并在此基礎(chǔ)上實(shí)現(xiàn)了A-MFI算法在Hadoop平臺(tái)上的分布式實(shí)現(xiàn)。
　　論文的主要工作如下:
　　(1)首先對(duì)于數(shù)據(jù)挖掘尤其是關(guān)聯(lián)規(guī)則挖掘和最大頻繁項(xiàng)集挖掘的理論、特點(diǎn)及其主流算法進(jìn)行了介紹，并對(duì)云計(jì)算和Hadoop云平臺(tái)的相關(guān)知識(shí)進(jìn)行了介紹。
　　(2)針對(duì)現(xiàn)有最大頻繁項(xiàng)集挖掘算法采用的FP-tree在自項(xiàng)向下遍歷策略中效率不高的問(wèn)題，本文采用AFOPT-tree模型來(lái)構(gòu)建空間搜索樹(shù);針對(duì)提升超

4、集檢測(cè)方法效率的問(wèn)題，本文提出優(yōu)化的基于投影的超集檢測(cè)方法，采用AFOPT-tree模型對(duì)傳統(tǒng)的MFI-tree進(jìn)行改造，將基于投影超集檢測(cè)方法對(duì)于MFI-tree自底向上的遍歷模式改變?yōu)樽皂斚蛳碌谋闅v模式，并在MFI-tree中加入一條相同數(shù)據(jù)項(xiàng)集之間的鏈表域，提升前瞻剪枝的效率。在這些改進(jìn)的基礎(chǔ)上，提出了基于AFOPT-tree的最大頻繁項(xiàng)集挖掘算法A-MFI，并采用不同的數(shù)據(jù)項(xiàng)集對(duì)算法進(jìn)行實(shí)驗(yàn)，驗(yàn)證了算法對(duì)比同類(lèi)算法在超集檢測(cè)優(yōu)化

5、和總體運(yùn)行效率上的優(yōu)越性。
　　(3)針對(duì)面對(duì)如今大規(guī)模數(shù)據(jù)集，單機(jī)最大頻繁項(xiàng)集挖掘算法的運(yùn)行效率提升有限的問(wèn)題，本文在對(duì)云計(jì)算和Hadoop平臺(tái)的相關(guān)知識(shí)深入學(xué)習(xí)的基礎(chǔ)上，對(duì)A-MFI算法進(jìn)行了分布式改造，實(shí)現(xiàn)了對(duì)最大頻繁項(xiàng)集挖掘的分布式挖掘。經(jīng)實(shí)驗(yàn)驗(yàn)證，分布式的最大頻繁項(xiàng)集挖掘方法相比單機(jī)在面對(duì)大規(guī)模稠密數(shù)據(jù)項(xiàng)集時(shí)運(yùn)行效率有了明顯的提升。
　　(4)最后，對(duì)全文內(nèi)容進(jìn)行總結(jié)，并指出文中現(xiàn)有研究?jī)?nèi)容的不足，為以后的研究指明