基于MapReduce的熱點(diǎn)話題發(fā)現(xiàn)及演化分析方法研究.pdf

1、隨著信息時(shí)代的來臨，網(wǎng)絡(luò)中的信息量呈爆炸式增長趨勢，人們是對信息的處理提出了更高的要求。更多、更快、更準(zhǔn)的進(jìn)行信息處理就意味著可以掌握先機(jī)，可以得到更具有價(jià)值的情報(bào)，可以產(chǎn)生更大的經(jīng)濟(jì)效益。話題發(fā)現(xiàn)及演化作為增量式文本聚類的主要應(yīng)用之一，具有很廣泛的應(yīng)用前景，在大數(shù)據(jù)背景下，現(xiàn)有的增量式文本聚類算法大多存在處理效率低下，處理結(jié)果較差等問題，很大程度上影響了話題發(fā)現(xiàn)的實(shí)時(shí)性，已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足處理大數(shù)據(jù)的需求。
　　本文首先介紹了熱點(diǎn)

2、話題發(fā)現(xiàn)的關(guān)鍵技術(shù)流程，比較了現(xiàn)有話題發(fā)現(xiàn)及演化算法的優(yōu)勢與不足，最終選擇利用增量式文本聚類算法 S ingle-Pass來實(shí)現(xiàn)熱點(diǎn)話題發(fā)現(xiàn)及演化分析方法，本文針對傳統(tǒng) S ingle-Pass算法處理文本的時(shí)間開銷會隨著文本增加呈指數(shù)趨勢增長的問題，提出了一種基于MapRed uce的S ingle-Pass算法，對分布式的S ingle-Pass算法做進(jìn)行了可行性證明，實(shí)驗(yàn)結(jié)果證明算法的效率有了明顯提高，針對簡單的分布式 S ing

3、le-Pass算法無法詳細(xì)描述話題的內(nèi)部結(jié)構(gòu)及演化過程，提出了一種分布式條件下的層次化 S ingle-Pass算法，算法提高了話題的描述能力，實(shí)驗(yàn)證明分布式條件下的層次化 S ingle-Pass算法提高話題發(fā)現(xiàn)的精度和準(zhǔn)確度。
　　其次，本文分析了現(xiàn)有網(wǎng)頁文本的特點(diǎn)，根據(jù)網(wǎng)頁文本的特點(diǎn)提出了一種合理的話題熱度計(jì)算方法，通過加入衰減指數(shù)和時(shí)間片的概念，提出增量式文本聚類與衰減指數(shù)相結(jié)合的話題動態(tài)演化方法，通過話題熱度計(jì)算公式計(jì)算