基于Hadoop的頻繁模式挖掘算法研究.pdf

1、頻繁模式挖掘是數(shù)據(jù)挖掘領(lǐng)域的一個(gè)重要的研究問(wèn)題，隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)庫(kù)規(guī)模急劇增長(zhǎng)。面對(duì)大數(shù)據(jù)時(shí)，現(xiàn)有的頻繁模式挖掘算法往往會(huì)存在效率低下、空間伸縮性差等問(wèn)題。解決這些問(wèn)題的一個(gè)有效方法便是實(shí)現(xiàn)挖掘算法的并行化。
　　云計(jì)算的提出為大數(shù)據(jù)的存儲(chǔ)、計(jì)算和分析等問(wèn)題提供了很好的解決思路，Hadoop作為云計(jì)算模式下的一個(gè)功能完善且高效的開(kāi)源分布式系統(tǒng)架構(gòu)已被廣泛應(yīng)用。本文在云計(jì)算環(huán)境下運(yùn)用Hadoop平臺(tái)對(duì)頻繁模式挖掘算法進(jìn)行研

2、究，提出兩個(gè)基于Hadoop的頻繁模式挖掘算法MRdFIN和HFPM。
　　MRdFIN算法是基于單機(jī)算法dFIN的并行化實(shí)現(xiàn)，采用深度優(yōu)先搜索策略，同時(shí)設(shè)計(jì)了一種基于貪心思想的均衡分組策略有效地實(shí)現(xiàn)了整個(gè)集群的負(fù)載均衡。在各個(gè)獨(dú)立節(jié)點(diǎn)上進(jìn)行深度挖掘時(shí)，采用集合枚舉樹(shù)的搜索方式并結(jié)合項(xiàng)集間的閉合屬性和父子等價(jià)的剪枝策略可有效地縮小搜索空間，提高算法效率。
　　針對(duì)目前單一搜索策略的局限性，在MRdFIN的基礎(chǔ)上，提出了一種基

3、于混合挖掘策略的并行挖掘頻繁模式的算法，HFPM。利用PamPh算法的混合搜索策略實(shí)現(xiàn)寬度搜索挖掘和深度搜索挖掘的相互轉(zhuǎn)換和并行執(zhí)行，充分發(fā)揮寬度優(yōu)先搜索和深度優(yōu)先搜索的優(yōu)點(diǎn)。同時(shí)應(yīng)用PEclat算法的混合垂直數(shù)據(jù)格式mixset，伺機(jī)選擇垂直數(shù)據(jù)格式tidset和diffset來(lái)表示數(shù)據(jù)格式，有效地壓縮存儲(chǔ)空間。在此基礎(chǔ)上，提出了一種基于有序搜索樹(shù)的快速剪枝策略，對(duì)混合挖掘過(guò)程中不同階段的寬度挖掘采用不同的剪枝技術(shù)，提高剪枝效率。提出