基于映射-規(guī)約的網(wǎng)頁聚類算法研究.pdf

1、隨著網(wǎng)絡(luò)應(yīng)用的普及化,網(wǎng)絡(luò)信息量飛速的增長。因此,人們?nèi)绾卧诤Ａ康臄?shù)據(jù)中獲取有用的知識(shí)變得越來越重要。通過長時(shí)間的研究與探索,人們提出了數(shù)據(jù)挖掘技術(shù),該技術(shù)是一門多專業(yè)交叉、綜合的學(xué)科,使用該技術(shù)可以有效的將用戶所需的知識(shí)提取出來,聚類分析是數(shù)據(jù)挖掘領(lǐng)域中的重要的內(nèi)容和基本工具之一。
　　 數(shù)據(jù)量呈級(jí)數(shù)的增長和應(yīng)用開發(fā)的復(fù)雜性嚴(yán)重阻礙了多核處理器和多處理器系統(tǒng)發(fā)展,進(jìn)而導(dǎo)致數(shù)據(jù)不能有效的利用。經(jīng)典的處理方法是開發(fā)一個(gè)具有信息傳遞

2、接口(MPI)的分布式系統(tǒng),由于該接口在并行應(yīng)用中只能提供細(xì)粒度控制,因此,經(jīng)典方法的抽象性和復(fù)雜性超出了現(xiàn)有的計(jì)算能力。與傳統(tǒng)的分布式系統(tǒng)相比,映射/規(guī)約框架提供了一種比MPI更高級(jí)的抽象概念,可以被應(yīng)用于許多數(shù)據(jù)密集型的批量處理任務(wù)中,并且該框架的抽象性和復(fù)雜性在現(xiàn)有的計(jì)算能力范圍內(nèi)能夠被處理。本文在并行計(jì)算與映射/規(guī)約編程框架研究分析的基礎(chǔ)上,對(duì)映射/規(guī)約框架進(jìn)行了理論上改進(jìn),使改進(jìn)后框架的計(jì)算處理性能提高。在改進(jìn)框架的基礎(chǔ)上,實(shí)

3、現(xiàn)了一種基于映射/規(guī)約的MRK-Means算法,該算法采用迭代操作的計(jì)算,能夠?qū)崿F(xiàn)多次執(zhí)行映射/規(guī)約操作,同時(shí)將該算法與網(wǎng)頁的海量、動(dòng)態(tài)、更新快等屬性特征相結(jié)合,提出一種具有屬性特征的在線OMRK-Means算法,該算法能夠提高在線聚類方法的伸縮性和聚類精確度,并且縮短了聚類操作時(shí)間,有效的處理增量式數(shù)據(jù)。
　　 通過實(shí)驗(yàn)表明,基于映射/規(guī)約框架的MRK-Means算法在保證執(zhí)行效果的基礎(chǔ)上,與傳統(tǒng)K-Means算法相比,有效地