基于Hadoop的頻繁模式挖掘算法研究.pdf

1、頻繁模式挖掘是數(shù)據(jù)挖掘領(lǐng)域的一個重要的研究問題，隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)庫規(guī)模急劇增長。面對大數(shù)據(jù)時，現(xiàn)有的頻繁模式挖掘算法往往會存在效率低下、空間伸縮性差等問題。解決這些問題的一個有效方法便是實現(xiàn)挖掘算法的并行化。
　　云計算的提出為大數(shù)據(jù)的存儲、計算和分析等問題提供了很好的解決思路，Hadoop作為云計算模式下的一個功能完善且高效的開源分布式系統(tǒng)架構(gòu)已被廣泛應(yīng)用。本文在云計算環(huán)境下運用Hadoop平臺對頻繁模式挖掘算法進行研

2、究，提出兩個基于Hadoop的頻繁模式挖掘算法MRdFIN和HFPM。
　　MRdFIN算法是基于單機算法dFIN的并行化實現(xiàn)，采用深度優(yōu)先搜索策略，同時設(shè)計了一種基于貪心思想的均衡分組策略有效地實現(xiàn)了整個集群的負載均衡。在各個獨立節(jié)點上進行深度挖掘時，采用集合枚舉樹的搜索方式并結(jié)合項集間的閉合屬性和父子等價的剪枝策略可有效地縮小搜索空間，提高算法效率。
　　針對目前單一搜索策略的局限性，在MRdFIN的基礎(chǔ)上，提出了一種基

3、于混合挖掘策略的并行挖掘頻繁模式的算法，HFPM。利用PamPh算法的混合搜索策略實現(xiàn)寬度搜索挖掘和深度搜索挖掘的相互轉(zhuǎn)換和并行執(zhí)行，充分發(fā)揮寬度優(yōu)先搜索和深度優(yōu)先搜索的優(yōu)點。同時應(yīng)用PEclat算法的混合垂直數(shù)據(jù)格式mixset，伺機選擇垂直數(shù)據(jù)格式tidset和diffset來表示數(shù)據(jù)格式，有效地壓縮存儲空間。在此基礎(chǔ)上，提出了一種基于有序搜索樹的快速剪枝策略，對混合挖掘過程中不同階段的寬度挖掘采用不同的剪枝技術(shù)，提高剪枝效率。提出