基于Hadoop平臺(tái)的Map-Reduce應(yīng)用研究.pdf

1、隨著互聯(lián)網(wǎng)和3G的迅猛發(fā)展,其數(shù)據(jù)具有海量、多樣、異構(gòu)、動(dòng)態(tài)變化等特性。面對(duì)這些海量數(shù)據(jù),常常陷入“數(shù)據(jù)豐富,信息貧乏”的尷尬境地。如何高效地從這些海量數(shù)據(jù)中挖掘有效信息已成為一個(gè)重要的研究內(nèi)容。
　　在分析常見的分布式系統(tǒng)模型以及并行計(jì)算等相關(guān)技術(shù)的基礎(chǔ)上,結(jié)合MapReduce編程模型和Hadoop平臺(tái)的集群技術(shù),提出了基于Hadoop集群平臺(tái)的MapReduce編程模型的并行編程框架,該編程框架的特點(diǎn)是借助開源技術(shù)和當(dāng)前流行

2、的分布式技術(shù)滿足算法并行執(zhí)行的需求,用該框架改進(jìn)Canopy-Kmeans算法,使Canopy-Kmeans算法執(zhí)行效率得到提高。同時(shí)該框架適用于大量其它算法。
　　Canopy-Kmeans算法對(duì)傳統(tǒng)Kmeans算法的改進(jìn)體現(xiàn)在兩個(gè)方面:利用Canopy算法選出初始的K個(gè)聚類中心有利于消除孤立點(diǎn),提高聚類的準(zhǔn)確性;再次就是將數(shù)據(jù)進(jìn)行Canopy有覆蓋劃分,在計(jì)算點(diǎn)離哪個(gè)聚類中心最近時(shí)不必計(jì)算其到所有聚類中心的距離,只要計(jì)算和它在