基于突發(fā)事件新聞標題的過濾方法研究.pdf

1、為了解決互聯(lián)網(wǎng)上信息過載方便人們快速的找到自己所需的感興趣的信息，產(chǎn)生了文本信息過濾技術(shù)。文本信息過濾是指根據(jù)用戶的信息需求，從大規(guī)模動態(tài)文本信息流中自動選出用戶所需的信息。當今，互聯(lián)網(wǎng)是人們獲取新聞必不可少的一種媒體。在網(wǎng)絡(luò)上所有新聞中，近年來大家很關(guān)心那種不容易預(yù)測突然爆發(fā)的，在世界各國都可能引起重大影響的突發(fā)事件新聞，如:地震、流感、瓦斯爆炸和交通事故等新聞。對于突發(fā)事件新聞文本來說標題是一篇新聞報道內(nèi)容的概括，是文本內(nèi)容的濃縮，

2、與文本主題密切相關(guān)，這部分的內(nèi)容對于人們過濾信息有最重要的參考價值，利用標題進行文本過濾，可以起到事半功倍的效果。文章針對人們當前關(guān)心的突發(fā)事件新聞進行了基于突發(fā)事件新聞標題的過濾方法研究，并給出了過濾模型。該方法是利用突發(fā)事件新聞標題采用基于內(nèi)容過濾的方法進行過濾，用戶興趣描述是根據(jù)用戶提供示例文本的方式獲得。
　　文章以突發(fā)事件新聞?wù)Z料庫為研究背景，結(jié)合突發(fā)事件新聞標題的特點，對突發(fā)事件新聞進行基于標題的文本過濾方法研究。該方

3、法借鑒TFIDF思想，采用基于詞頻統(tǒng)計的方法，提出了以標題興趣相關(guān)度為依據(jù)進行過濾。具體研究內(nèi)容和方法如下:
　　(1)從突發(fā)事件新聞的特點出發(fā)，根據(jù)中科院分詞軟件2009版進行分詞，對分詞后出現(xiàn)的一些關(guān)鍵未登錄詞建立了突發(fā)事件新聞各個類對應(yīng)的未登錄詞詞典，將所建立的未登錄詞詞典添加到分詞軟件中重新進行分詞，從而完成突發(fā)事件新聞?wù)Z料庫中的一些關(guān)鍵的未登錄詞的識別問題。
　　(2)依據(jù)標題興趣相關(guān)度方法進行過濾，先根據(jù)用戶興趣

4、的描述計算出待過濾標題中各個特征的興趣相關(guān)度，在此基礎(chǔ)上再計算出標題興趣相關(guān)度，將其與過濾閾值進行比較，大于過濾閾值的文本即滿足用戶需求。
　　(3)建立突發(fā)事件新聞的類別特征庫，將標題特征和用戶興趣類特征的共現(xiàn)相似度應(yīng)用于過濾中，重新確定標題中特征的興趣相關(guān)度和待過濾標題的興趣相關(guān)度，再根據(jù)此方法進行過濾研究。
　　根據(jù)以上的研究，文章對各個過濾方法進行詳細闡述，并通過實驗做了測試，實驗證明所提出的過濾方法有較好的過濾效果