大數(shù)據(jù)環(huán)境下關(guān)聯(lián)規(guī)則算法的研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，數(shù)據(jù)信息呈現(xiàn)出爆炸性的增長趨勢，很多企業(yè)每天產(chǎn)生的數(shù)據(jù)量已經(jīng)達(dá)到TB級甚至PB級。面對如此巨大的數(shù)據(jù)集，數(shù)據(jù)挖掘的過程會受到算法實(shí)現(xiàn)復(fù)雜，運(yùn)行平臺計(jì)算能力有限等問題的制約，無法達(dá)到預(yù)期效果。關(guān)聯(lián)規(guī)則是數(shù)據(jù)挖掘技術(shù)中的重要分支，具有廣泛的應(yīng)用領(lǐng)域。Hadoop開源平臺的興起與發(fā)展，為數(shù)據(jù)挖掘算法提供了新的思路。Hadoop因其良好的容錯性和可擴(kuò)展性，能夠在一定程度上解決關(guān)聯(lián)規(guī)則算法運(yùn)行時的兩個主要瓶頸：計(jì)算量大和I/

2、O負(fù)擔(dān)過重問題。
　　本文重點(diǎn)研究關(guān)聯(lián)規(guī)則中經(jīng)典的基于水平數(shù)據(jù)集的Apriori算法和基于垂直數(shù)據(jù)集的EClat算法，給出了其基于Hadoop平臺的改進(jìn)實(shí)現(xiàn)。其中針對Apriori算法需要迭代運(yùn)算，多次掃描數(shù)據(jù)庫，不適應(yīng)Hadoop平臺的特點(diǎn)，提出了縮減數(shù)據(jù)集，確定最高階次Km，基于2-頻繁項(xiàng)集進(jìn)行剪枝一次生成3-Km項(xiàng)集的優(yōu)化策略。對于Eclat算法，提出兩種Hadoop平臺下并行化算法：D-MREclat算法和A-MREcla

3、t算法。前者通過對垂直數(shù)據(jù)集進(jìn)行范圍劃分進(jìn)行數(shù)據(jù)分塊，能夠減少后繼計(jì)算中“交”運(yùn)算操作的次數(shù)，從而提高算法的運(yùn)行效率。后者引入Apriori思想，采用基于前綴的搜索空間劃分方法，實(shí)現(xiàn)Eclat算法的并行化，這種方法在處理大規(guī)模數(shù)據(jù)集時運(yùn)行效率更好。針對Eclat算法運(yùn)行中產(chǎn)生大量候選項(xiàng)集導(dǎo)致內(nèi)存占用嚴(yán)重等問題，本文提出一種壓縮數(shù)據(jù)的存儲方式，對運(yùn)行結(jié)果進(jìn)行壓縮表示，有效減少了網(wǎng)絡(luò)通信量，達(dá)到提高算法運(yùn)行效率的目的。
　　對上述3種