基于MapReduce的K_means聚類算法研究.pdf

1、隨著互聯(lián)網(wǎng)應(yīng)用的飛速發(fā)展，數(shù)據(jù)量的積累也越來(lái)越多。如何更高效快捷地從海量數(shù)據(jù)中得到有價(jià)值的信息并將其應(yīng)用到相關(guān)領(lǐng)域中，成為當(dāng)前范圍內(nèi)急需解決的前沿問(wèn)題。為了解決這一難題，研究人員提出了越來(lái)越多的聚類分析算法。目前，聚類分析已經(jīng)在很多領(lǐng)域被廣泛應(yīng)用，例如：金融、軍事、醫(yī)療、管理等。
　　K_means聚類算法是聚類分析中使用較為廣泛的一種，其思想簡(jiǎn)單且易操作.但是該算法隨機(jī)選擇初始化中心使聚類結(jié)果不穩(wěn)定且易出現(xiàn)局部最優(yōu)解，此外，當(dāng)數(shù)

2、據(jù)集中存在孤立點(diǎn)時(shí)聚類結(jié)果也會(huì)受到影響。隨著聚類數(shù)據(jù)日漸增多，K_means算法迭代次數(shù)增加且耗時(shí)嚴(yán)重，傳統(tǒng)的單機(jī)運(yùn)行模式已經(jīng)不能滿足實(shí)際需要。MapReduce是基于Hadoop平臺(tái)的一種分布式計(jì)算模型且是當(dāng)前運(yùn)用較為廣泛的一種分布式計(jì)算框架，HDFS也實(shí)現(xiàn)了對(duì)文件的分布式存儲(chǔ)，所以將單機(jī)上的聚類分析算法移植到 Hadoop平臺(tái)上可進(jìn)行分布式聚類任務(wù)。針對(duì)上述K_means算法的不足，文章中提出了一種對(duì) K_means算法進(jìn)行優(yōu)化的算

3、法且對(duì)其實(shí)現(xiàn)了并行化。
　　首先，本文梳理了聚類分析的研究背景及國(guó)內(nèi)外研究現(xiàn)狀并列舉了論文的主要工作及創(chuàng)新點(diǎn)。其次介紹了聚類分析技術(shù)中的度量和聚類算法的劃分等，并通過(guò)HDFS分布式文件系統(tǒng)及MapReduce編程模型兩方面介紹了Hadoop技術(shù)。然后，針對(duì) K_means算法隨機(jī)選擇初始中心點(diǎn)和易受孤立點(diǎn)影響問(wèn)題提出了一種基于最大距離法改進(jìn)的初始中心點(diǎn)選擇算法和孤立點(diǎn)排除法，此外還結(jié)合MapReduce編程模型的特征對(duì)改進(jìn)后的K_