基于單事件新聞多文檔聚類及自動文摘的設(shè)計與實(shí)現(xiàn)

1、廈門大學(xué)學(xué)位論文原創(chuàng)性聲明本人呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下，獨(dú)立完成的研究成果。本人在論文寫作中參考其他個人或集體已經(jīng)發(fā)表的研究成果，均在文中以適當(dāng)方式明確標(biāo)明，并符合法律規(guī)范和《廈門大學(xué)研究生學(xué)術(shù)活動規(guī)范( 試行) 》。另外，該學(xué)位論文為( ) 課題( 組) 的研究成果，獲得( )課題( 組) 經(jīng)費(fèi)或?qū)嶒?yàn)室的資助，在( ) 實(shí)驗(yàn)室完成。( 請?jiān)谝陨侠ㄌ杻?nèi)填寫課題或課題組負(fù)責(zé)人或?qū)嶒?yàn)室名稱，未有此項(xiàng)聲明內(nèi)容的，可以不作特別聲明。)聲

2、明人( 簽名) ：沁章茜汐l 阻年P(guān) 月浙摘要現(xiàn)今網(wǎng)上各大新聞網(wǎng)站繽紛繚亂，人們每天都面對大量沒有經(jīng)過整理的原始新聞，往往會發(fā)現(xiàn)自己難以跟上信息更新的速度。人們越來越迫切地需要一個快速瀏覽新聞的工具，不僅能夠?qū)Ω鞔笮侣劸W(wǎng)站的報道進(jìn)行匯總分門別類，并且能夠?qū)⑼恢黝}的新聞報道求同存異。通過運(yùn)用這樣的加工工具，人們既能更有針對性的瀏覽相關(guān)感興趣的新聞報道，又能閱讀到精煉匯總的新聞資源，有效地節(jié)省了人們的寶貴時間。本文通過對話題檢測和多文檔文

3、摘的相關(guān)技術(shù)進(jìn)行研究，構(gòu)建了一個單事件新聞聚類及摘要系統(tǒng)的雛形，著重解決新聞分類、單事件聚類、基于單事件的多文檔自動文摘三個方面的問題。本文的工作主要包括以下兩個方面：( 1 ) 實(shí)現(xiàn)單事件新聞聚類系統(tǒng)的主要模塊算法。首先，在深入研究L D A ( L a t e n t D i r i c h l e t 舢l o c a t i o n ) 模型的基礎(chǔ)上，對文檔集合進(jìn)行L D A 主題建模，將L D A 模型與V S M ( v e

4、 c t o r S p a C eM o d e l ) 模型結(jié)合計算文本間的相似度。其次，以復(fù)合相似度運(yùn)用到基于相似度加權(quán)表決的l ；淪N ( KN e a r e s tN e i g h b o r ) 算法對新聞報道集合進(jìn)行分類。將分類后的文檔集合，以復(fù)合相似度運(yùn)用S i n g l e P a S s 算法將新聞報道按單事件聚類。并通過實(shí)驗(yàn)驗(yàn)證改進(jìn)后K N N 算法以及改進(jìn)后S i I l g l e P a S s 算法的

5、效果。( 2 ) 設(shè)計并實(shí)現(xiàn)多文檔文摘系統(tǒng)。在文本表示模塊中，通過引入知網(wǎng)，從語義層次將特征詞合并、構(gòu)造同義詞集合，構(gòu)建基于同義詞集合的V S M 模型。在句子權(quán)重計算模塊中，通過L e x R ￡m k 算法結(jié)合一些句子特征計算得到句子的最終權(quán)重，并依照句子權(quán)重從高到低對候選摘要句排序。在句子抽取模塊中，采用最大邊緣相關(guān)( M a X i m a l M a 昭i n a l R e l e v 趾c e ) 算法去除冗余來抽取摘要句