基于MapReduce的海量數(shù)據(jù)K-means聚類算法研究.pdf

1、聚類是數(shù)據(jù)挖掘中非常熱門(mén)的研究方向。聚類是將數(shù)據(jù)對(duì)象劃分為不同的簇的過(guò)程，其目的是使同簇中對(duì)象具有較高相似度，不同簇間對(duì)象相似度較低。隨著信息技術(shù)的快速發(fā)展與數(shù)據(jù)量的不斷擴(kuò)張，人們對(duì)聚類算法的效率、可靠性以及可擴(kuò)展性的要求逐漸提高，海量數(shù)據(jù)聚類變得尤為重要。在眾多聚類算法中，基于劃分的K-means聚類算法因其簡(jiǎn)單性，一直深受歡迎。本文主要研究在海量數(shù)據(jù)環(huán)境下K-means聚類的性能優(yōu)化問(wèn)題。
　　為滿足海量數(shù)據(jù)的處理需求，在單機(jī)

2、處理能力有限的情況下，分布式計(jì)算模型的應(yīng)用成為大勢(shì)所趨。很多學(xué)者借助MapReduce并行編程框架來(lái)進(jìn)行K-means聚類計(jì)算，在計(jì)算性能方面有了一定的提高。但是，在利用MapReduce進(jìn)行K-means計(jì)算時(shí)會(huì)有多次任務(wù)迭代，每次迭代時(shí)Mapper均需從HDFS文件系統(tǒng)上讀取原始數(shù)據(jù)，同時(shí)所有數(shù)據(jù)在整個(gè)集群網(wǎng)絡(luò)中洗牌，傳送給對(duì)應(yīng)的Reducer，這導(dǎo)致了高昂的I/O和網(wǎng)絡(luò)開(kāi)銷，在目前并沒(méi)有被很好地解決。
　　針對(duì)MapRedu

3、ce處理K-means聚類時(shí)的瓶頸，本文提出了一種基于MapReduce的海量數(shù)據(jù)快速K-means計(jì)算模型，通過(guò)隨機(jī)均勻概率抽樣和迭代抽樣方法減少數(shù)據(jù)量，在MapReduce單個(gè)任務(wù)內(nèi)部進(jìn)行迭代計(jì)算，避免了MapReduce在處理時(shí)任務(wù)重復(fù)啟動(dòng)、海量數(shù)據(jù)重復(fù)讀取和多次網(wǎng)絡(luò)洗牌的弊端，從而降低I/O和網(wǎng)絡(luò)開(kāi)銷，實(shí)現(xiàn)快速聚類，降低數(shù)據(jù)集中孤立點(diǎn)對(duì)于聚類結(jié)果的影響。同時(shí)，本文針對(duì)計(jì)算模型提出了兩種不同的中間數(shù)據(jù)合并策略WMC和DMC，分別從