基于單事件新聞多文檔聚類及自動文摘的設(shè)計與實現(xiàn).pdf

1、現(xiàn)今網(wǎng)上各大新聞網(wǎng)站繽紛繚亂，人們每天都面對大量沒有經(jīng)過整理的原始新聞，往往會發(fā)現(xiàn)自己難以跟上信息更新的速度。人們越來越迫切地需要一個快速瀏覽新聞的工具，不僅能夠?qū)Ω鞔笮侣劸W(wǎng)站的報道進行匯總分門別類，并且能夠?qū)⑼恢黝}的新聞報道求同存異。通過運用這樣的加工工具，人們既能更有針對性的瀏覽相關(guān)感興趣的新聞報道，又能閱讀到精煉匯總的新聞資源，有效地節(jié)省了人們的寶貴時間。本文通過對話題檢測和多文檔文摘的相關(guān)技術(shù)進行研究，構(gòu)建了一個單事件新聞聚類

2、及摘要系統(tǒng)的雛形，著重解決新聞分類、單事件聚類、基于單事件的多文檔自動文摘三個方面的問題。本文的工作主要包括以下兩個方面:
　　(1)實現(xiàn)單事件新聞聚類系統(tǒng)的主要模塊算法。首先，在深入研究LDA(Latent Dirichlet Allocation)模型的基礎(chǔ)上，對文檔集合進行LDA主題建模，將LDA模型與VSM(Vector Space Model)模型結(jié)合計算文本間的相似度。其次，以復(fù)合相似度運用到基于相似度加權(quán)表決的KNN

3、(K Nearest Neighbor)算法對新聞報道集合進行分類。將分類后的文檔集合，以復(fù)合相似度運用SinglePass算法將新聞報道按單事件聚類。并通過實驗驗證改進后KNN算法以及改進后SinglePass算法的效果。
　　(2)設(shè)計并實現(xiàn)多文檔文摘系統(tǒng)。在文本表示模塊中，通過引入知網(wǎng)，從語義層次將特征詞合并、構(gòu)造同義詞集合，構(gòu)建基于同義詞集合的VSM模型。在句子權(quán)重計算模塊中，通過LexRank算法結(jié)合一些句子特征計算得到