基于hadoop的聚類算法并行化分析及應(yīng)用研究.pdf

1、伴隨著計算機技術(shù)的迅猛發(fā)展以及互聯(lián)網(wǎng)的快速普及，人們所接觸的數(shù)據(jù)量（包括有結(jié)構(gòu)和無結(jié)構(gòu)的文本數(shù)據(jù)）呈現(xiàn)爆炸式增長。當(dāng)前，如何有效快速地從海量數(shù)據(jù)中挖掘出有價值的信息具有重要的意義。聚類分析是進(jìn)行數(shù)據(jù)挖掘的核心技術(shù)之一。傳統(tǒng)單機的聚類算法無論從效率上，還是從計算復(fù)雜度上都已無法滿足海量信息的處理需要，云計算技術(shù)的發(fā)展為聚類分析提供了新的研究方向。Hadoop，作為Apache下的開源的項目，是一個用于構(gòu)建云平臺的分布式的計算框架。在 Ha

2、doop平臺上，采用HDFS（分布式文件系統(tǒng)）存儲數(shù)據(jù)，采用MapReduce編程模式來實現(xiàn)對海量數(shù)據(jù)的并行化處理。根據(jù)傳統(tǒng)聚類算法本身的特點，并且結(jié)合MapReduce的編程模式，使得開發(fā)人員不需過多了解并行化的具體通信實現(xiàn)，就可以實現(xiàn)聚類算法的快速并行化，高效而且容易實現(xiàn)。本文對傳統(tǒng)的各種聚類算法進(jìn)行了比較，針對傳統(tǒng)的K-means算法在初始聚類中心選擇的隨機性以及聚類結(jié)果的局部最優(yōu)性進(jìn)行了適當(dāng)?shù)母倪M(jìn)，并將改進(jìn)結(jié)果結(jié)合Hadoop框

3、架進(jìn)一步應(yīng)用到實際項目中的相關(guān)領(lǐng)域，而且進(jìn)行了深入的研究。結(jié)果表明，這些改進(jìn)使得算法在執(zhí)行效率和結(jié)果的精確性方面都有明顯提高。
　　本研究主要內(nèi)容包括：⑴研究了MapReduce編程模型，分析了傳統(tǒng)K-means算法以及Canopy算法的優(yōu)缺點，提出了基于canopy的二次聚類算法(CTK)的思想，并給出了該算法在Hadoop上的并行設(shè)計框架，描述了其具體實現(xiàn)。⑵分析了最大最小距離算法，提出了基于最大最小距離原理的K-means聚