基于Hadoop平臺的譜聚類算法研究.pdf

1、聚類算法是數(shù)據(jù)挖掘領(lǐng)域中重要技術(shù)之一,數(shù)據(jù)挖掘研究的主要內(nèi)容是從眾多數(shù)據(jù)中挖掘出一些有用的和有價值的信息,其技術(shù)已經(jīng)應(yīng)用到工業(yè)、商業(yè)等眾多領(lǐng)域。然而隨著眾多領(lǐng)域的飛速發(fā)展,其產(chǎn)生的數(shù)據(jù)量也在不斷的擴大,傳統(tǒng)的技術(shù)對數(shù)據(jù)的處理在時間上和硬件上已經(jīng)不能滿足日益增長的數(shù)據(jù)量,如何行之有效的處理海量數(shù)據(jù)已經(jīng)成為迫在眉睫的首要任務(wù),因此如何將并行計算方式應(yīng)用到大數(shù)據(jù)集上,已成為熱門的研究領(lǐng)域。
　　傳統(tǒng)的并行計算模式和計算方法主要是基于時間

2、并行和空間并行,但是前者對于數(shù)據(jù)的處理要求較高,并行設(shè)計程序比較繁瑣,一般主要用于科學(xué)計算領(lǐng)域,而后者對于并行所用的硬件要求很高,價格比較昂貴并且硬件的淘汰速度很快,造成極大的浪費,在數(shù)據(jù)量急劇增長的今天,迫切需要相應(yīng)技術(shù)解決此問題。
　　Google提出的MapReduce計算模式,因為其封裝了底層復(fù)雜的編寫過程,用戶不在為編寫復(fù)雜的數(shù)據(jù)分割程序、任務(wù)調(diào)度程序、并行處理程序而發(fā)愁,只需關(guān)心自己需要解決的問題,從而一經(jīng)推出就受到了

3、廣泛的關(guān)注,美中不足的是其為“閉源”框架。Apache Hadoop在2008年實現(xiàn)了針對MapReduce編程模型的開放源代碼,近些年隨著數(shù)據(jù)量的不斷增長,Hadoop平臺得到了廣泛應(yīng)用,本文是在深入了解Hadoop平臺之后,在Linux操作系統(tǒng)上部署Hadoop云計算試驗平臺,通過對聚類算法的深入了解,進行了基于Hadoop平臺的譜聚類算法研究。
　　譜聚類算法與以往的聚類算法相比,其更適合大數(shù)據(jù)的處理,在面對高維度并且不規(guī)則

4、的數(shù)據(jù)時不會陷入最優(yōu)解,本文從傳統(tǒng)的譜聚類算法過程入手,分析出其可以并行的部分,主要工作是計算拉普拉斯矩陣的特征值和特征向量,從而結(jié)合云計算平臺實現(xiàn)并行處理。在深入熟悉MapReduce編程框架之后,對譜聚類算法進行數(shù)據(jù)分割和任務(wù)并行。實驗數(shù)據(jù)采用Wikipedia數(shù)據(jù)和人工合成數(shù)據(jù)進行實驗測試,通過實驗結(jié)果可以顯示出并行之后的譜聚類算法在Hadoop平臺上表現(xiàn)出了良好的效果,大大提高了在單機上處理數(shù)據(jù)的時間速度,并且在加速比、數(shù)據(jù)伸縮