基于Spark的Fp-Growth算法的并行化實(shí)現(xiàn)與優(yōu)化.pdf

1、隨著計(jì)算機(jī)技術(shù)尤其是網(wǎng)絡(luò)技術(shù)的發(fā)展，計(jì)算機(jī)需要處理的數(shù)據(jù)也呈現(xiàn)急速的增長(zhǎng)。傳統(tǒng)的數(shù)據(jù)挖掘算法基本上都是串行的算法，運(yùn)行在單機(jī)上，由于硬件資源的限制，面對(duì)海量的數(shù)據(jù)，這些算法并不能高效的進(jìn)行數(shù)據(jù)挖掘。為了提高傳統(tǒng)的數(shù)據(jù)挖掘算法對(duì)大數(shù)據(jù)的處理能力，需要實(shí)現(xiàn)算法的并行化，結(jié)合分布式技術(shù)，利用多臺(tái)機(jī)器的資源來(lái)高效的進(jìn)行數(shù)據(jù)挖掘。
　　Apache Spark是基于內(nèi)存計(jì)算的大數(shù)據(jù)并行計(jì)算框架，該分布式框架著眼于大數(shù)據(jù)處理，通過(guò)將中間結(jié)果緩

2、存在內(nèi)存以減少磁盤(pán) I/O，比基于磁盤(pán)的MapReduce框架在性能上有了數(shù)量級(jí)的提升，因此可以利用Spark相比于Hadoop的平臺(tái)優(yōu)勢(shì)來(lái)提高算法的并行計(jì)算效率和并行化性能。
　　Fp-Growth算法是一種被廣泛應(yīng)用的頻繁模式挖掘算法，在挖掘頻繁模式時(shí)效率較高。但針對(duì)海量數(shù)據(jù)規(guī)模進(jìn)行挖掘時(shí)，算法會(huì)遇到內(nèi)存瓶頸。為了解決在面對(duì)海量數(shù)據(jù)時(shí)的內(nèi)存瓶頸。結(jié)合Spark平臺(tái)的優(yōu)勢(shì)，經(jīng)典的Fp-Growth算法的各個(gè)步驟可以實(shí)現(xiàn)并行化。并