網(wǎng)絡(luò)輿情資訊系統(tǒng)中的自動文本摘要技術(shù)研究.pdf

1、輿情資訊系統(tǒng)定向爬取互聯(lián)網(wǎng)上的新聞、論壇、微博等文本數(shù)據(jù)，過濾、排序、并形成自動文摘提供給決策層用戶，提升其信息獲取效率，并滿足其對輿情資訊的搜集、監(jiān)控及預(yù)警等需求。自動文本摘要是輿情資訊系統(tǒng)中的核心技術(shù)之一，它試圖從文本中提取出最重要的部分，形成簡明扼要的文摘。由于爬蟲獲取的資訊包含大量垃圾及無關(guān)文本，將對輿情系統(tǒng)中包括自動文本摘要在內(nèi)的后續(xù)文本處理構(gòu)成極大的負(fù)面影響。為此，面向輿情資訊系統(tǒng)的實(shí)際需求，本文聚焦于輿情系統(tǒng)中垃圾文本過濾

2、方法以及節(jié)錄式摘要自動生成算法的研究。
　　首先，針對輿情資訊系統(tǒng)原始數(shù)據(jù)包含大量垃圾文本的問題，我們通過分析垃圾文本產(chǎn)生的原因，對垃圾文本進(jìn)行分類，綜合運(yùn)用黑/白名單過濾方法、貝葉斯分類器過濾方法，提出一種多層垃圾文本過濾方法，降低輿情系統(tǒng)中文本處理的錯誤率，并基于不同數(shù)據(jù)源中的相似文本數(shù)量，進(jìn)行資訊內(nèi)容的重要性排序。
　　其次，節(jié)錄式摘要的本質(zhì)是從原始文本中提取一定數(shù)量的重要句子，因此句排序是節(jié)錄式自動摘要的算法。一種直

3、觀的無監(jiān)督方法是通過構(gòu)建詞或句關(guān)聯(lián)網(wǎng)絡(luò)，再使用PageRank計(jì)算詞或句的排序分值，最終獲得句的重要性排序分值。本文將詞和句重要性排序相融合，考慮詞與句之間的相互影響，提出詞句協(xié)同排序的自動摘要算法，在句關(guān)聯(lián)網(wǎng)絡(luò)上融入詞對句子排序分值的影響，而詞的重要性由包含其句子的排序分值所決定。在句排序結(jié)果基礎(chǔ)上，提出基于冗余度的句選擇方法，進(jìn)一步提升自動摘要質(zhì)量。算法在10篇中文文本和1067篇英文文本上的的實(shí)驗(yàn)表明，相比于只構(gòu)建句網(wǎng)絡(luò)的算法和D