數(shù)據(jù)密集型計(jì)算環(huán)境下聚類算法的研究.pdf

1、近年來，數(shù)據(jù)密集型計(jì)算越來越得到相關(guān)學(xué)者的關(guān)注。數(shù)據(jù)密集型計(jì)算環(huán)境下的數(shù)據(jù)具有海量、高速變化、分布、異構(gòu)、半結(jié)構(gòu)化或非結(jié)構(gòu)化的特點(diǎn)，傳統(tǒng)的數(shù)據(jù)挖掘算法已經(jīng)不能滿足其處理要求。如何從具有這些數(shù)據(jù)特點(diǎn)的數(shù)據(jù)中挖掘出有效的信息，成為當(dāng)前數(shù)據(jù)挖掘領(lǐng)域所面臨的一大挑戰(zhàn)。
　　聚類分析是當(dāng)前一種常用的數(shù)據(jù)挖掘工具，是將無規(guī)則的數(shù)據(jù)點(diǎn)依據(jù)某一方面的相似性分成若干類，使得每個類中的所有數(shù)據(jù)點(diǎn)在該方面相似性最大，不同類中的數(shù)據(jù)點(diǎn)在該方面相似性最小的

2、過程。常見的聚類分析算法有分割方法、層次方法、基于密度的方法、基于網(wǎng)格的方法和基于約束的方法等。本文分析了數(shù)據(jù)密集型計(jì)算環(huán)境下數(shù)據(jù)的特點(diǎn)，介紹了聚類分析的相關(guān)理論知識，重點(diǎn)討論了基于劃分的k-means算法和基于密度的DBSCAN算法；介紹了開源項(xiàng)目Hadoop以及相關(guān)子項(xiàng)目，特別是對Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System）和MapReduce編程模型進(jìn)行了深入的分析和研究。
　　

3、本文基于MapReduce編程模型，討論了k-means算法及DBSCAN算法在數(shù)據(jù)密集型計(jì)算環(huán)境下的實(shí)現(xiàn)。針對k-means算法對局部數(shù)據(jù)集的魯棒性較差、準(zhǔn)確率低，而在主節(jié)點(diǎn)對全局?jǐn)?shù)據(jù)集具有較好的伸縮性及準(zhǔn)確率；局部分節(jié)點(diǎn)容易產(chǎn)生較多的噪聲點(diǎn)和異常點(diǎn)，而DBSCAN算法可有效的識別噪聲點(diǎn)及異常點(diǎn)等特點(diǎn)，取長補(bǔ)短，優(yōu)化兩種聚類算法，提出一種改進(jìn)的基于MapReduce的聚類算法IDBDC；局部聚類采用DBSCAN算法的優(yōu)化，全局聚類采用

4、k-means算法的優(yōu)化，使其適用于數(shù)據(jù)密集型計(jì)算環(huán)境下的數(shù)據(jù)分析挖掘。在MapReduce模型上的實(shí)現(xiàn)部分，劃分為三個階段，即Map階段、Combine階段和Reduce階段。分節(jié)點(diǎn)上的Map階段執(zhí)行DBSCAN算法，生成含有簇及噪聲點(diǎn)ID、數(shù)據(jù)點(diǎn)個數(shù)及密度的鍵值對，并由Combine階段進(jìn)行相關(guān)合并，發(fā)送到主節(jié)點(diǎn)執(zhí)行Reduce階段全局的k-means算法。最后在Hadoop實(shí)驗(yàn)環(huán)境下利用數(shù)據(jù)集DOCWORD.