基于Hadoop MapReduce并行近似譜聚類算法研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)信息呈現(xiàn)幾何級(jí)數(shù)增長(zhǎng),對(duì)與之產(chǎn)生的大規(guī)模高維數(shù)據(jù)的譜聚類的計(jì)算時(shí)間和內(nèi)存使用提出了新的挑戰(zhàn)。Hadoop MapReduce并行近似譜聚類算法為減少計(jì)算時(shí)間和內(nèi)存使用而展開(kāi)研究,首先,在構(gòu)建近似譜聚類算法的稀疏化相似矩陣過(guò)程中,研究t最近鄰稀疏化相似矩陣法和Nystrm低階子矩陣抽樣近似相似矩陣法,側(cè)重因在t最近鄰稀疏化相似矩陣使用主觀性設(shè)置擴(kuò)大了參數(shù)t的近鄰范圍,而造成的稀疏化相似矩陣中離群點(diǎn)對(duì)近似譜聚類算法質(zhì)量的影響。提出

2、一種基于t最近鄰近似相似矩陣離群點(diǎn)優(yōu)化的解決方法,通過(guò)證明含有離群點(diǎn)的t最近鄰近似相似矩陣在該優(yōu)化方法中存在最優(yōu)解,并把該方法應(yīng)用于近似譜聚類算法,提出優(yōu)化的近似譜聚類算法,以期提高大規(guī)模高維數(shù)據(jù)近似譜聚類的質(zhì)量。此外,在近似譜聚類算法設(shè)計(jì)中使用最近鄰粗糙集模型選擇k-means初始化聚類中心位置,避免聚類大規(guī)模高維數(shù)據(jù)時(shí),近似譜聚類算法獲得空聚類或非最佳聚類的結(jié)果。通過(guò)將上述近似譜聚類算法與經(jīng)典的基于正交化Nystrm低階子矩陣抽樣近

3、似相似矩陣譜聚類算法和基于t最近鄰稀疏化近似相似矩陣譜聚類算法進(jìn)行輔助對(duì)比實(shí)驗(yàn),結(jié)果顯示雖然近似相似矩陣優(yōu)化時(shí)間較高,但是其聚類精確度優(yōu)于后者。
　　本文主要設(shè)計(jì)并實(shí)現(xiàn)Hadoop分布式文件系統(tǒng)MapReduce并行計(jì)算編程模型下近似譜聚類算法對(duì)大規(guī)模高維數(shù)據(jù)的聚類。通過(guò)研究Mapper和Reducer并行編程流程及Hadoop MapReduce并行算法中相互依賴步驟分解,分別研究并設(shè)計(jì)基于MapReduce優(yōu)化離群點(diǎn)的t最近鄰

4、近似相似矩陣、Laplacian特征分解和基于最近鄰初始化聚類中心位置的k-means并行策略與map和reduce函數(shù),并分析了Hadoop MapReduce并行前后各自的時(shí)間復(fù)雜度,其中所設(shè)計(jì)的并行策略與依賴步驟的分解處理也為機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、模式識(shí)別、信息檢索、Web數(shù)據(jù)分析、計(jì)算機(jī)視覺(jué)、醫(yī)學(xué)成像、信號(hào)與圖形圖像處理以及生物信息學(xué)等領(lǐng)域提供一種分析大規(guī)模高維數(shù)據(jù)的參考思路。通過(guò)在12臺(tái)Dell2161服務(wù)器構(gòu)成的Hadoop集