基于句子索引圖的新聞流話題檢測與跟蹤研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，一方面網(wǎng)絡(luò)已成為人們獲取和發(fā)布信息的重要工具。另一方面越來越多的人通過網(wǎng)絡(luò)表達(dá)自己的利益訴求以及思想情緒。因此，對網(wǎng)絡(luò)上發(fā)布的信息進(jìn)行必要的、合理的監(jiān)督管理，以自動化、智能化的方法分析網(wǎng)絡(luò)輿情趨勢，把握重大事件和突發(fā)性事件，為政府高層提供有力的輔助決策信息是網(wǎng)絡(luò)監(jiān)管部門的一項重要研究課題。話題檢測與跟蹤正是面向新聞媒體信息流進(jìn)行未知話題識別和已知話題跟蹤的網(wǎng)絡(luò)輿情分析技術(shù)。
　　 本文主要研究了面向互聯(lián)網(wǎng)新

2、聞流的話題檢測與跟蹤。重點討論了如何建立更為適用的數(shù)據(jù)表示模型的問題。傳統(tǒng)的話題檢測與跟蹤研究都是使用了基于特征詞向量的文檔模型，雖然這種模型在話題檢測與跟蹤的應(yīng)用中表現(xiàn)出了較好的性能，但也存在明顯的不足。從語言學(xué)的角度可知，詞在文中所表達(dá)的意思主要由其上下文決定的。如果忽略了詞在文中的上下文關(guān)系，而僅以詞頻或其它統(tǒng)計信息為特征，是難以全面捕捉與主題相關(guān)的信息的。為了解決這個問題，我們將尋求更具語義信息的短語作為詞的補充特征來表示文檔，

3、因為短語能夠充分利用詞語搭配等上下文關(guān)系，并且可以表達(dá)較完整的概念。
　　 因此，本文設(shè)計出一種基于句子索引圖(Sentence index Graph，SIG)的短語匹配算法。它實現(xiàn)了對文本流的動態(tài)建模過程，適用于增量式話題聚類。SIG可有效地提取文檔與話題之間共享的任何短語。換言之，SIG在進(jìn)行短語匹配的過程中可以快速索引到與文檔共享了短語的所有話題。
　　 本文還對特征詞和命名實體權(quán)重計算方法進(jìn)行了改進(jìn)。特征詞的重