基于Hadoop平臺的并行關(guān)聯(lián)規(guī)則挖掘算法研究.pdf

1、ARM是數(shù)據(jù)挖掘的一個重要領(lǐng)域，現(xiàn)已經(jīng)得到廣泛應(yīng)用。隨著社會的快速發(fā)展，人們的生活水平越來越高，活動越來越頻繁，產(chǎn)生的數(shù)據(jù)量越來越大，有的甚至以PB或TB級增長，面對如此龐大的任務(wù)，已有的串行算法如Apriori算法或是傳統(tǒng)基于MPI及其他編程模型的并行算法如CD、DD等算法都已經(jīng)不能勝任。而2004年由Google提出的Hadoop平臺解決了傳統(tǒng)編程模型不能解決的節(jié)點失效問題，同時具有很好的Expansibility，動態(tài)負(fù)載均衡性，

2、因此研究基于此平臺的并行ARM算法迫在眉睫。本文的主要工作如下:
　　1)從理論上證明DHP，Eclat，F(xiàn)P_Growth算法能夠基于Hadoop進(jìn)行并行化改進(jìn)（詳見第3章）。
　　2)對DHP算法，主要從哈希表和F_itemsets的生成兩個方面，提出基于Hadoop平臺并行改進(jìn)的策略，得到H DHP算法，并加以實現(xiàn)。同時借助Hbase數(shù)據(jù)庫將生成的F_itemsets存入其中，提高關(guān)聯(lián)規(guī)則的生成效率。然后從運(yùn)行時間，加

3、速比，可擴(kuò)展性三個方面對DHP和H_DHP算法進(jìn)行對比測試。最后在H_DHP有效性驗證時將使用小數(shù)據(jù)進(jìn)行（詳見第4章）。
　　3)對Eclat算法，針對數(shù)據(jù)垂直分布的特點，提出基于Hadoop平臺并行改進(jìn)的策略，得到H_Eclat算法，加以實現(xiàn)。關(guān)聯(lián)規(guī)則的生成及H_Eclat的性能測試和有效驗證，基本方法同H_DHP，此處不再贅述。（詳見第5章）。
　　4) FP_Growth算法構(gòu)造TP_Tree時，互不干涉，并且不生成C