基于異構(gòu)Hadoop平臺的并行聚類算法研究.pdf

1、在數(shù)據(jù)挖掘領域，聚類分析是一個重要且備受關注的研究方法，其中包含的基于密度的聚類算法由于可以有效的排除噪聲數(shù)據(jù)，發(fā)現(xiàn)任意形狀的簇而被廣泛的研究。當今處于信息時代，從網(wǎng)絡中可以獲取各種各樣的數(shù)據(jù)，從而導致存儲在數(shù)據(jù)庫中的數(shù)據(jù)量急劇增加，若再想從這些海量數(shù)據(jù)中獲得有價值的信息和知識是非常困難的，這促使人們對大規(guī)模數(shù)據(jù)進行并行化研究。作為分布式計算、網(wǎng)格計算和并行計算的發(fā)展，云計算成為了當前研究的熱點。Hadoop平臺是云計算的開源實現(xiàn)，主要

2、是針對海量數(shù)據(jù)的并行研究，運行在由廉價的計算機構(gòu)成的集群上，有效的節(jié)約計算成本，提高數(shù)據(jù)處理能力。
　　本文主要研究如何在異構(gòu)Hadoop平臺上實現(xiàn)海量數(shù)據(jù)的聚類問題。首先針對異構(gòu)Hadoop環(huán)境下仍采用均等的數(shù)據(jù)分配方法將嚴重降低MapReduce的性能，提出了比例數(shù)據(jù)分配策略。主要思想是通過計算異構(gòu)集群中各節(jié)點的計算比率，將已經(jīng)分割好的數(shù)據(jù)塊重新進行組合，形成數(shù)個按比例劃分的數(shù)據(jù)塊，每個節(jié)點根據(jù)自身性能來選擇所分配和存儲的數(shù)據(jù)

3、塊，從而使異構(gòu)Hadoop集群中各節(jié)點處理數(shù)據(jù)的時間大致相同，降低節(jié)點之間數(shù)據(jù)的移動量。其次考慮到MapReduce默認的數(shù)據(jù)劃分方法將割斷數(shù)據(jù)本來之間的聯(lián)系，提出了有交叉區(qū)域的數(shù)據(jù)劃分方法。然后結(jié)合異構(gòu)Hadoop平臺，利用MapReduce化的編程思想，實現(xiàn)DBSCAN算法的并行化。最后，在搭建的異構(gòu)Hadoop平臺上分別對比例數(shù)據(jù)分配算法和DBSCAN算法的并行化進行測試。實驗表明提出的比例數(shù)據(jù)方法可有效的提高MapReduce的