基于論壇的熱點(diǎn)話題識(shí)別與趨勢(shì)預(yù)測(cè)研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，論壇成為當(dāng)前興起的互聯(lián)網(wǎng)媒體之一，正是因?yàn)檎搲墓蚕硇浴⒓磿r(shí)性、交互性等特點(diǎn)，成為大量用戶的網(wǎng)絡(luò)聚集地，因此論壇成為獲取信息的主要渠道之一。用戶可以發(fā)表一個(gè)主題來討論、提出一個(gè)問題來解決、針對(duì)社會(huì)焦點(diǎn)話題提出自己的觀點(diǎn)，因此也逐漸成為廣大用戶共享信息、瀏覽信息和發(fā)表觀點(diǎn)的平臺(tái)。但是論壇每天產(chǎn)生的信息量巨大，傳播速度較快，導(dǎo)致形成的話題較多，在這種情況下，怎樣快速的瀏覽當(dāng)前熱點(diǎn)話題，來迅速了解當(dāng)前社會(huì)關(guān)注焦點(diǎn)就顯得非

2、常有意義。
　　本文首先從論壇數(shù)據(jù)的采集著手，論壇的網(wǎng)頁鏈接的重復(fù)性、分頁鏈接的難以識(shí)別、隊(duì)列與數(shù)據(jù)庫的設(shè)計(jì)、多線程等問題進(jìn)行了研究，將提取的文本數(shù)據(jù)存放在數(shù)據(jù)庫中，作為本文實(shí)驗(yàn)的數(shù)據(jù)來源。
　　其次，在采集的基礎(chǔ)上，對(duì)熱點(diǎn)話題發(fā)現(xiàn)進(jìn)行了研究。針對(duì)論壇帖子數(shù)據(jù)的特殊性和傳統(tǒng)的VSM僅用一個(gè)向量來描述整個(gè)文本信息的不足，本文提出了多向量維度策略，具體思想就是把一篇文本按照時(shí)間、地點(diǎn)、人物、事件分為四個(gè)子向量，對(duì)其四個(gè)子向量采用

3、各自的計(jì)算方法分別計(jì)算相似度值，再對(duì)這四個(gè)相似度值采用加權(quán)平均的方法得出最終的相似度值。最后通過與傳統(tǒng)的VSM進(jìn)行對(duì)比，證明了該算法的精確性。
　　在話題檢測(cè)方面，針對(duì)論壇數(shù)據(jù)是按照時(shí)間的順序進(jìn)行每天的疊加和更新，本文提出了在時(shí)間維度上采用二次聚類的方法來檢測(cè)話題，具體思想是先對(duì)當(dāng)天同一時(shí)間維度上的帖子數(shù)據(jù)做一次局部聚類形成臨時(shí)話題集。若沒有舊話題集，則將這一次的結(jié)果保存等待下一次的聚類；若有舊話題集，則與舊話題集再做一次聚類，重

4、復(fù)訓(xùn)練數(shù)據(jù)，得到最終的話題集合。考慮到 Single-Pass算法無需在動(dòng)態(tài)數(shù)據(jù)源下提前確定話題的數(shù)目，而是根據(jù)相似度閾值來自動(dòng)生成類簇的優(yōu)點(diǎn)，本文采用的是Single-Pass聚類。最后通過實(shí)驗(yàn)證明了提出的算法思想的合理性。
　　最后，在話題趨勢(shì)預(yù)測(cè)上，采用時(shí)間序列 ARIMA模型來進(jìn)行擬合，對(duì)話題的某些指標(biāo)進(jìn)行了預(yù)測(cè)分析。首先通過介紹 ARIMA模型，針對(duì)該模型的優(yōu)點(diǎn)分別給出建模步驟、模型的識(shí)別以及參數(shù)的估計(jì)、檢驗(yàn)?zāi)Ｐ偷恼_性