基于SVM的新聞報道特征新事件檢測研究.pdf

1、隨著因特網的普及，新聞網頁已經成為人們獲取信息的一個主要來源之一。但面對浩瀚的信息量，人們需要借助某種方式來快速、準確地搜集自己感興趣的信息。話題檢測與追蹤(Topic Detection and Tracking，TDT)是一項為了應對信息海罱的問題而展開的研究。美國1996年開始組織有關研究機構進行TDT測評，新事件檢測(New Event Detection，NED)作為其關鍵了任務之一，研究的主要內容是怎樣通過新事件檢測系統(tǒng)檢測

2、出事件的第一篇新聞報道。國內相關研究雖起步較晚，但由于話題檢測與追蹤在信息檢索、文本分類等相關領域的實際應用價值，其相關研究已成為信息處理領域的熱點。
　　 基本的新事件檢測系統(tǒng)主要分為文本表示、文本的比較與文本分類與時間窗口選擇等幾大模塊。本文在國內外研究的基礎上，以文本形式的中文新聞數據流為處理對象，對自然語言處理技術中時間信息的統(tǒng)一表達、地名的規(guī)范化處理、人名庫的有效建立方等方面作了改進。特別地，考慮到新聞報道趨向于盡早將

3、報道要義告知讀者的特點，本文提出了位置信息這一概念，并在此基礎之上通過可加函數和可乘函數對Okapi相似比較函數進行改進。文本的分類方面，本文中采用的支持向量機(Support Vector Machine，SVM)的方法有堅實的數學基礎，是機器學習領域關注度相當高的一種方法，尤其是在無監(jiān)督情形下有著良好的魯棒性，已被成功的應用于模式識別及回歸問題的分析。
　　 本文對從中新網、新華網等大型網站收集的含有20個主題的14295篇

4、新聞文檔分別采用核回歸法(kernel regression)、最近鄰域方法(nearest neighbor method)和支持向量機法(Linear—kernel SVM、RBF—kernel SVM)等方法進行新事件檢測，通過對采用基本NED系統(tǒng)和改進后的NED系統(tǒng)進行實驗得出的檢測代價系數進行對比，得到三種方法對應的代價系數分別降低了4．9％、7．3％和13．1％。由此說明了NED系統(tǒng)在應用了基于新聞語料特征改進的向量空間模型