基于分布式平臺的聚類算法研究.pdf

1、聚類分析算法是數(shù)據(jù)挖掘領(lǐng)域的重要研究方向，在工業(yè)、商業(yè)和科研等領(lǐng)域越來越起到高效提取重要數(shù)據(jù)信息的作用。隨著各領(lǐng)域信息化進程的快速發(fā)展，這些領(lǐng)域產(chǎn)生的數(shù)據(jù)量以爆發(fā)式的增長，導(dǎo)致在傳統(tǒng)的單機聚類分析算法很難應(yīng)對如此大規(guī)模的數(shù)據(jù)量。因此將傳統(tǒng)聚類算法并行化，利用分布式平臺的強大計算能力，來彌補單機算法在性能上的不足。Hadoop作為近幾年來流行起來的大規(guī)模數(shù)據(jù)處理分布式計算平臺，由于其具有開源性和易擴展性等諸多優(yōu)點，被越來越多的企事業(yè)單位采

2、用，作為分布式計算平臺的解決方案，來應(yīng)對呈指數(shù)級增長的數(shù)據(jù)膨脹的挑戰(zhàn)。因此本文研究如何將傳統(tǒng)的聚類算法在Hadoop平臺上進行并行化實現(xiàn)。
　　CLARA算法作為一種聚類算法，它將統(tǒng)計學(xué)中的抽樣理論應(yīng)用到聚類中心點的選擇當中。它的特點是能夠處理大規(guī)模數(shù)據(jù)并且具有較高的執(zhí)行效率。算法在執(zhí)行過程中有很多重復(fù)的操作執(zhí)行，在一定程度上還是影響了算法的執(zhí)行效率。為了能夠解決這個問題，本文提出了將CLARA算法進行并行化實現(xiàn)的想法。
　

3、　首先在研讀和分析過往單機聚類算法的原理和性能的基礎(chǔ)上，具體分析了CLARA算法的結(jié)構(gòu)特點，針對算法在執(zhí)行過程中存在復(fù)雜操作的問題，從而提出利用統(tǒng)計學(xué)中平均值法近似求解的理論，來進一步簡化算法，并闡述了改進的理論基礎(chǔ)和思路，以及設(shè)計改進后算法的執(zhí)行流程。同時對改進后的算法進行了實驗驗證，證明了改進算法的有效性。
　　然后結(jié)合MapReduce計算框架的技術(shù)特點，提出將原單機上聚類算法進行MapReduce并行化的總體思路和分類。具