基于Mahout的聚類算法的研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，隨之產(chǎn)生的數(shù)據(jù)量也急速膨脹，互聯(lián)網(wǎng)數(shù)據(jù)挖掘領(lǐng)域中的傳統(tǒng)聚類算法無法滿足海量數(shù)據(jù)處理的要求。特別對于文檔聚類而言，傳統(tǒng)的聚類算法主要處理人工數(shù)據(jù)集，并且文檔數(shù)據(jù)傾向于小型，以適應單機處理。但是，在文檔聚類領(lǐng)域，這并不現(xiàn)實，因為文檔數(shù)據(jù)集往往巨大而且充滿噪音。云計算是一種新的專注于大數(shù)據(jù)和分布式并行處理的平臺，近年來發(fā)展迅速，在商業(yè)上取得了初步成功，也引起了學術(shù)界的注意。在云計算時代，可以利用云計算平臺重新設(shè)計和實現(xiàn)傳

2、統(tǒng)的聚類算法，降低時間和空間復雜度，高效地解決大數(shù)據(jù)的存儲和計算所遇到的瓶頸問題。
　　ApacheHadoop是關(guān)于云計算的開源項目，允許在廉價的大量集群上通過簡單的MapReduce計算模型來分布式處理大數(shù)據(jù)集。從過去依賴昂貴的硬件轉(zhuǎn)而利用廉價節(jié)點間的分布存儲和并行計算來獲取高可用性。此外，Hadoop能夠偵測和解決節(jié)點失效的問題，從而能夠提供在集群上個別節(jié)點失效的情況下的高可用性服務。其中MapReduce計算模型在底層依賴

3、于HDFS(HadoopDistributedFileSystem)文件系統(tǒng)，此分布式文件系統(tǒng)支持集群節(jié)點的本地存儲和計算。ApacheMahout是一個數(shù)據(jù)挖掘和機器學習領(lǐng)域的開源的算法庫，這些算法都是建立在MapReduce編程模型和HDFS文件系統(tǒng)之上實現(xiàn)的。
　　本文以經(jīng)典聚類算法為例，深入討論基于Mahout的聚類算法的并行分布式設(shè)計和實現(xiàn)。同時改進相關(guān)算法，總結(jié)聚類算法設(shè)計的一般方法和技巧?？梢灶A期Mahout是一個處