基于Hadoop平臺(tái)的聚類(lèi)算法研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，數(shù)據(jù)量呈指數(shù)式增長(zhǎng)趨勢(shì)，傳統(tǒng)聚類(lèi)算法存在著處理大數(shù)據(jù)時(shí)間長(zhǎng)以及難以達(dá)到預(yù)期效果的缺陷，因此傳統(tǒng)的聚類(lèi)方法已經(jīng)無(wú)法滿足需求。云計(jì)算平臺(tái)應(yīng)運(yùn)而生，它是由并行計(jì)算發(fā)展而來(lái)的，Hadoop是目前使用最廣的云計(jì)算平臺(tái)，通過(guò)把云平臺(tái)與聚類(lèi)算法結(jié)合使用，可以有效處理大規(guī)模數(shù)據(jù)。MapReduce模型是Hadoop云計(jì)算平臺(tái)最核心的模塊，目前研究最多的就是基于MapReduce模型來(lái)提高聚類(lèi)算法的效率，隨著數(shù)據(jù)量的不斷增長(zhǎng)，利用M

2、apReduce模型處理大數(shù)據(jù)進(jìn)行聚類(lèi)已經(jīng)成為研究的熱點(diǎn)。
　　在目前的關(guān)于云平臺(tái)的聚類(lèi)方法研究中，關(guān)鍵問(wèn)題是如何實(shí)現(xiàn)傳統(tǒng)的聚類(lèi)算法的并行化，或者基于云平臺(tái)實(shí)現(xiàn)聚類(lèi)算法的分布式架構(gòu)，而評(píng)價(jià)云計(jì)算平臺(tái)的性能指標(biāo)主要是加速比等。本文對(duì)基于云平臺(tái)的聚類(lèi)算法進(jìn)行了深入的研究，并做了以下工作：
　　首先，針對(duì)Canopy-kmeans算法的不足，提出了一種改進(jìn)的方法。該方法通過(guò)分組和抽樣來(lái)降低算法的時(shí)間復(fù)雜度，并通過(guò)最大最小原則對(duì)Ca

3、nopy-kmeans算法進(jìn)行了改進(jìn)，以提高算法的有效性?；贛ATLAB的仿真結(jié)果表明，改進(jìn)算法的時(shí)效性和有效性都得到了改善?；贛apReduce模型，在Hadoop云平臺(tái)上實(shí)現(xiàn)了改進(jìn)的Canopy-kmeans算法。實(shí)驗(yàn)結(jié)果表明，隨著節(jié)點(diǎn)數(shù)的線性增加，分布式集群的加速比呈線性增長(zhǎng)趨勢(shì)，能高效處理大規(guī)模數(shù)據(jù)。
　　然后，針對(duì)一種新型的基于密度的聚類(lèi)算法CFSFDP處理大數(shù)據(jù)量時(shí)間復(fù)雜度高的缺點(diǎn)，提出了一種改進(jìn)的算法R-CFSF

4、DP，該算法首先抽樣部分?jǐn)?shù)據(jù)，然后基于抽樣出來(lái)數(shù)據(jù)的最有“代表性”的m個(gè)點(diǎn)來(lái)歸類(lèi)未被抽樣的數(shù)據(jù)。基于MATLAB的仿真結(jié)果表明：R-CFSFDP算法大大降低了算法的時(shí)間復(fù)雜度。R-CFSFDP算法雖然時(shí)效性得到了提高，但是仿真結(jié)果也表明改進(jìn)算法的有效性有所下降，而且R-CFSFDP算法無(wú)法與云平臺(tái)有效結(jié)合，針對(duì)以上不足之處，本文又提出了n-CFSFDP算法：該算法首先將數(shù)據(jù)集進(jìn)行分組，然后采用CFSFDP算法對(duì)子數(shù)據(jù)集進(jìn)行聚類(lèi)，最后依據(jù)