基于KL距離的微博突發(fā)話題檢測研究.pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，網(wǎng)絡(luò)的普及率越來越高，使得網(wǎng)絡(luò)超越大眾媒體成為廣大群眾獲知、抒發(fā)自己對各大突發(fā)新聞事件、熱點新聞事件等的看法、觀點、態(tài)度的重要的新的渠道平臺。因此，如何有效及時的獲取有效的新聞信息，分析新聞信息，發(fā)現(xiàn)其中的突發(fā)事件、熱點事件成為當(dāng)今信息檢索領(lǐng)域重要的研究重點和熱點。
　　話題檢測技術(shù)是解決上述問題的重要方法，該技術(shù)主要是從網(wǎng)絡(luò)新聞數(shù)據(jù)流中及時的發(fā)現(xiàn)話題，并對已發(fā)現(xiàn)的話題進(jìn)行實時的后續(xù)關(guān)聯(lián)檢測，對相關(guān)話題進(jìn)行全

2、面記錄，更便捷的使人們了解話題的整體概況，此外，同時為相關(guān)政府人員及時的了解突發(fā)事件、熱點事件的發(fā)展情況，掌握事件的發(fā)展動態(tài)并及時的控制和引導(dǎo)相關(guān)話題的發(fā)展趨勢等，提供了極大的便利。
　　目前，在微博突發(fā)話題檢測中，存在特征詞抽取不全、準(zhǔn)確率不高的問題；在話題關(guān)聯(lián)檢測中，存在靜態(tài)閾值和虛假相關(guān)報道的問題。本文主要是針對上述問題進(jìn)行研究，首先，研究了突發(fā)詞抽取方法，然后研究了關(guān)聯(lián)檢測中動態(tài)閾值和解決虛假相關(guān)報道的方法。即主要有一下兩

3、個方面：
　　1)研究微博突發(fā)詞抽取及突發(fā)話題檢測方法，提出一種基于突發(fā)詞的微博突發(fā)話題檢測方法
　　越來越多的人們運用微博來發(fā)表對某一事件的看法，使得研究微博上的突發(fā)話題具有重要的研究意義和價值，根據(jù)微博文本短、數(shù)據(jù)量大、用詞不規(guī)范，當(dāng)一個突發(fā)話題出現(xiàn)時往往伴隨了大量突發(fā)詞的出現(xiàn)的特點，提出了一種基于突發(fā)詞的微博突發(fā)話題檢測方法。
　　該方法首先根據(jù)詞語的詞頻和文檔頻次進(jìn)行突發(fā)詞的初步篩選，得到候選突發(fā)詞；然后結(jié)合發(fā)

4、表微博的用戶信息即用戶影響力以及詞語的詞頻逆文檔頻率得到詞語的權(quán)重，再然后抽取權(quán)重較高的詞作為表征突發(fā)話題的突發(fā)詞，最后運用改進(jìn)的S ingle-Pass聚類算法對抽取出的突發(fā)詞進(jìn)行聚類，從而完成微博突發(fā)話題的檢測。實驗結(jié)果表明該方法提高了突發(fā)詞抽取和檢測的準(zhǔn)確性。
　　2)研究話題相似度計算和動態(tài)閾值設(shè)定的方法，提出一種基于KL距離的雙重過濾話題關(guān)聯(lián)檢測方法
　　在話題關(guān)聯(lián)檢測中，存在閾值設(shè)置和虛假相關(guān)報道的相關(guān)問題，為了