面向播存內(nèi)容分發(fā)的信息采集關(guān)鍵技術(shù)研究.pdf

1、播存網(wǎng)絡(luò)中，廣播源點(diǎn)基于網(wǎng)絡(luò)用戶行為的無(wú)尺度現(xiàn)象，聚類整合互聯(lián)網(wǎng)熱門信息內(nèi)容，對(duì)熱門信息內(nèi)容進(jìn)行UCL(Uniform Content Label)信息標(biāo)引并通過(guò)廣播分發(fā)將熱門信息內(nèi)容的UCL和全文分別推送到所有用戶終端和邊緣網(wǎng)絡(luò)接入服務(wù)器，實(shí)現(xiàn)信息的主動(dòng)服務(wù)。這一過(guò)程被稱為播存內(nèi)容分發(fā)。其中，互聯(lián)網(wǎng)熱門信息內(nèi)容的聚類整合是實(shí)現(xiàn)播存內(nèi)容分發(fā)的關(guān)鍵。
　　本文根據(jù)播存內(nèi)容分發(fā)的應(yīng)用需求，研究通過(guò)信息采集聚類整合互聯(lián)網(wǎng)熱門信息內(nèi)容的方

2、法，從信息采集的范圍、內(nèi)容和方式三方面對(duì)播存網(wǎng)絡(luò)信息采集中的關(guān)鍵技術(shù)問(wèn)題進(jìn)行分析。論文的主要工作體現(xiàn)在以下幾個(gè)方面:
　　研究設(shè)計(jì)了播存網(wǎng)絡(luò)信息采集技術(shù)框架，對(duì)播存網(wǎng)絡(luò)信息采集中三個(gè)關(guān)鍵技術(shù)的結(jié)構(gòu)和實(shí)現(xiàn)方法進(jìn)行研究，并提出:基于網(wǎng)絡(luò)用戶行為模型的統(tǒng)計(jì)特性對(duì)網(wǎng)站熱度進(jìn)行評(píng)估，基于網(wǎng)頁(yè)結(jié)構(gòu)相似度的聚類方法對(duì)網(wǎng)頁(yè)類型進(jìn)行分析，基于網(wǎng)絡(luò)爬蟲實(shí)現(xiàn)播存網(wǎng)絡(luò)信息采集的過(guò)程。
　　對(duì)關(guān)鍵技術(shù)中的算法進(jìn)行深入研究，基于播存結(jié)構(gòu)理論中用戶行為分

3、析的理論研究基礎(chǔ)，借鑒網(wǎng)絡(luò)科學(xué)研究中網(wǎng)絡(luò)重要節(jié)點(diǎn)排序的研究，設(shè)計(jì)和實(shí)現(xiàn)了一種基于D-S證據(jù)理論的網(wǎng)站熱度計(jì)算方法，為網(wǎng)站熱度評(píng)估提供依據(jù)。根據(jù)網(wǎng)頁(yè)信息內(nèi)容的特點(diǎn)，對(duì)基于DOM樹的網(wǎng)頁(yè)結(jié)構(gòu)相似度計(jì)算方法進(jìn)行研究改進(jìn)，使其更加符合播存內(nèi)容分發(fā)對(duì)信息類型判斷的要求。
　　根據(jù)技術(shù)框架的設(shè)計(jì)，對(duì)播存網(wǎng)絡(luò)信息采集原型系統(tǒng)進(jìn)行了實(shí)現(xiàn)，基于熱度評(píng)估技術(shù)實(shí)現(xiàn)了用戶行為分析單元的功能，基于信息類型分析技術(shù)實(shí)現(xiàn)了類型分析單元的功能，通過(guò)多種爬蟲的并行