面向聚類分析的迭代MapReduce計(jì)算模型研究.pdf

1、MapReduce計(jì)算模型是一種高效的大規(guī)模數(shù)據(jù)處理方式,廣泛應(yīng)用于搜索引擎、電子商務(wù)以及社交網(wǎng)絡(luò)等領(lǐng)域。然而,運(yùn)行環(huán)境重復(fù)初始化、靜態(tài)數(shù)據(jù)重復(fù)載入、中間結(jié)果對(duì)網(wǎng)絡(luò)的負(fù)載壓力等原因造成了 MapReduce計(jì)算模型無法高效的處理迭代計(jì)算的問題。為此,本文將數(shù)據(jù)劃分為可以被分散的緩存在分布式環(huán)境節(jié)點(diǎn)內(nèi)存中的中等規(guī)模數(shù)據(jù)以及不能被分散的緩存在分布式環(huán)境節(jié)點(diǎn)內(nèi)存中的大規(guī)模數(shù)據(jù),并且設(shè)計(jì)了兩種針對(duì)不同規(guī)模數(shù)據(jù)的迭代 MapReduce效率的優(yōu)化

2、方案。
　　首先,本文設(shè)計(jì)了用于提高M(jìn)apReduce計(jì)算模型以迭代方式處理中等規(guī)模數(shù)據(jù)時(shí)效率的MapCombine方案。MapCombine通過給Combine任務(wù)添加緩存數(shù)據(jù)的功能,避免了靜態(tài)數(shù)據(jù)重復(fù)載入;增加了一個(gè)名為Controller的新組件,以其來調(diào)度迭代,避免了分布式環(huán)境重復(fù)初始化;設(shè)計(jì)了基于HBase的交互層,用于持久化中間數(shù)據(jù),保證設(shè)計(jì)方案的健壯性。
　　其次,本文設(shè)計(jì)了用于提高M(jìn)apReduce計(jì)算模型以

3、迭代方式處理大規(guī)模數(shù)據(jù)時(shí)效率的CycleMap方案。CycleMap通過增加一個(gè)名為Collector的新組件來替代Reduce任務(wù)的工作,避免了排序和洗牌這兩個(gè)過程對(duì)執(zhí)行效率的影響;通過流水線的方式運(yùn)行任務(wù),間接的達(dá)成了整個(gè)迭代任務(wù)僅需要完成一次初始化工作的設(shè)計(jì)初衷,避免了分布式環(huán)境重復(fù)初始化。
　　最后,本設(shè)計(jì)基于以上兩個(gè)方案,分別實(shí)現(xiàn)了K-Means、Fuzzy K-Means以及Dirichlet Process三個(gè)聚類算