基于單事件新聞多文檔聚類及自動(dòng)文摘的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、現(xiàn)今網(wǎng)上各大新聞網(wǎng)站繽紛繚亂，人們每天都面對(duì)大量沒有經(jīng)過整理的原始新聞，往往會(huì)發(fā)現(xiàn)自己難以跟上信息更新的速度。人們?cè)絹碓狡惹械匦枰粋€(gè)快速瀏覽新聞的工具，不僅能夠?qū)Ω鞔笮侣劸W(wǎng)站的報(bào)道進(jìn)行匯總分門別類，并且能夠?qū)⑼恢黝}的新聞報(bào)道求同存異。通過運(yùn)用這樣的加工工具，人們既能更有針對(duì)性的瀏覽相關(guān)感興趣的新聞報(bào)道，又能閱讀到精煉匯總的新聞資源，有效地節(jié)省了人們的寶貴時(shí)間。本文通過對(duì)話題檢測(cè)和多文檔文摘的相關(guān)技術(shù)進(jìn)行研究，構(gòu)建了一個(gè)單事件新聞聚類

2、及摘要系統(tǒng)的雛形，著重解決新聞分類、單事件聚類、基于單事件的多文檔自動(dòng)文摘三個(gè)方面的問題。本文的工作主要包括以下兩個(gè)方面:
　　(1)實(shí)現(xiàn)單事件新聞聚類系統(tǒng)的主要模塊算法。首先，在深入研究LDA(Latent Dirichlet Allocation)模型的基礎(chǔ)上，對(duì)文檔集合進(jìn)行LDA主題建模，將LDA模型與VSM(Vector Space Model)模型結(jié)合計(jì)算文本間的相似度。其次，以復(fù)合相似度運(yùn)用到基于相似度加權(quán)表決的KNN

3、(K Nearest Neighbor)算法對(duì)新聞報(bào)道集合進(jìn)行分類。將分類后的文檔集合，以復(fù)合相似度運(yùn)用SinglePass算法將新聞報(bào)道按單事件聚類。并通過實(shí)驗(yàn)驗(yàn)證改進(jìn)后KNN算法以及改進(jìn)后SinglePass算法的效果。
　　(2)設(shè)計(jì)并實(shí)現(xiàn)多文檔文摘系統(tǒng)。在文本表示模塊中，通過引入知網(wǎng)，從語義層次將特征詞合并、構(gòu)造同義詞集合，構(gòu)建基于同義詞集合的VSM模型。在句子權(quán)重計(jì)算模塊中，通過LexRank算法結(jié)合一些句子特征計(jì)算得到