基于主題模型的中英文多文檔自動文摘.pdf

1、隨著計算機(jī)技術(shù)和互聯(lián)網(wǎng)的迅速發(fā)展，各種信息呈爆炸式增長，人們對信息精確定位的需求促進(jìn)了自然語言處理技術(shù)的研究。同時，隨著人們對跨文本信息融合的分析，多文檔自動文摘成為研究者們關(guān)注的熱門話題，多文檔自動文摘在問答系統(tǒng)、搜索引擎和話題檢測等諸多應(yīng)用中都有涉及。
　　 本文深入分析了現(xiàn)有的多文檔自動文摘技術(shù)，將主題模型應(yīng)用到關(guān)鍵句檢測中，并使用動態(tài)模型進(jìn)行冗余控制，在此基礎(chǔ)上實(shí)現(xiàn)了一個基于主題模型的多文檔自動文摘系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，本

2、文給出的系統(tǒng)在TAC2008和TAC2009自動文摘評測中使用Rouge評測，取得了良好的性能。
　　 本文主要針對多文檔自動文摘中的兩個關(guān)鍵部分：關(guān)鍵句檢測和冗余度控制進(jìn)行了詳細(xì)分析。在關(guān)鍵句檢測方面，本文構(gòu)建了基于主題模型的句子主題特征，實(shí)驗(yàn)證明句子主題特征能夠在多文檔自動文摘中起了很大作用，將主題特征與其他特征組合構(gòu)成的特征向量也能很好地提高系統(tǒng)的性能。在冗余控制方面，本文將動態(tài)模型引入到句子抽取模塊，并在此基礎(chǔ)上設(shè)計了針

3、對更新摘要的動態(tài)模型，使用該動態(tài)模型生成的更新摘要能有效地避免歷史信息的冗余。在TAC2008語料上的實(shí)驗(yàn)表明，本文的關(guān)鍵句檢測與冗余控制相結(jié)合后，取得了很好的系統(tǒng)性能，特別是在更新摘要任務(wù)中，結(jié)果高于參賽系統(tǒng)中的最好結(jié)果。
　　 最后本文將提出的兩個關(guān)鍵技術(shù)應(yīng)用于中文語料上，實(shí)驗(yàn)結(jié)果表明主題模型同樣有助于中文語料多文檔中旬子重要度的檢測，動態(tài)模型對中文多文檔同樣可以有效地控制冗余。但英文處理的效果明顯優(yōu)于中文，原因是中文語料需