Hadoop平臺下的分布式聚類算法研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的廣泛應用，各行各業(yè)需要分析處理的數(shù)據(jù)量飛速增長，甚至達到海量數(shù)據(jù)的水平。傳統(tǒng)的聚類分析算法往往由于物理機器內(nèi)存不足或效率低而不能滿足處理大數(shù)據(jù)網(wǎng)絡數(shù)據(jù)的需求。分布式計算的出現(xiàn)，為解決以上問題提供了有效途徑。但對結構化網(wǎng)絡還沒有高效的分布式算法進行有效處理。此外分布式k-means聚類算法初始中心點選取的主觀性使得聚類結果不穩(wěn)定，聚類時間長，而改進的分布式k-means聚類算法初始中心點選取的過程比較復雜，時間和空間復雜度比較

2、高。
　　針對以上問題，本文分析了聚類算法方面的國內(nèi)外研究現(xiàn)狀，對SCAN算法、Clique算法及分布式k-means算法的基本原理及優(yōu)缺點進行研究，并對Hadoop平臺的分布式文件系統(tǒng)和分布式框架的特性和運行機制進行深入研究。本文根據(jù)Hadoop平臺的工作原理，提出兩種分布式聚類算法:(1)結構化分布式聚類算法，結合SCAN算法思想，采用MRC理論設計有限MapReduce輪數(shù)，控制混洗排序所需時間，利用Map內(nèi)合并技術對網(wǎng)絡流

3、量進行控制，控制內(nèi)存開銷;(2)基于密度的分布式聚類算法，結合分布式k-means算法和Clique算法，利用分布式CLIQUE算法自動快速地確定聚類個數(shù)，選取全局初始聚類中心點，利用格密度除去噪聲點。
　　利用模擬生成結構化網(wǎng)絡和空間網(wǎng)絡在Hadoop集群中進行實驗，實驗結果表明結構化分布式聚類算法具有良好的加速比與擴展性，基于密度的分布式算法在劃分效果和效率方面優(yōu)于分布式k-means算法，算法對含噪聲數(shù)據(jù)的數(shù)據(jù)集處理效果更好