基于概念的多文檔自動摘要研究.pdf

1、多文檔自動摘要是自然語言理解領域的一個重要的研究方向。近年來，隨著計算機和互聯(lián)網(wǎng)技術的迅速發(fā)展和普及，信息增長的速度比以前各個時期都更快，人們越來越陷入到信息的海洋之中。目前，人們主要是通過搜索引擎獲得自己需要的信息，但搜索引擎返回來的相關文檔太多，而多數(shù)是重復和相似的。這樣人們就不能快速且高效地獲取自己所需要的信息。多文檔自動摘要技術研究的目標正是力求解決這一問題，把多篇同一主題的文檔進行匯總，給人們提供簡潔、信息全面的摘要，將人們從

2、繁瑣、冗余的信息中解脫出來。基于概念的多文檔自動摘要的研究借助于語義資源確定文檔中單詞的概念，然后通過概念共現(xiàn)圖抽取文檔集的主題概念，計算句子的重要性，最后抽取文摘句生成摘要。 本文圍繞基于概念共現(xiàn)圖的多文檔自動摘要系統(tǒng)，針對其關鍵技術展開了研究，主要研究內(nèi)容和特色如下： (1)為了引出概念共現(xiàn)圖方法，本文首先研究了詞共現(xiàn)圖方法，并通過引入潛在語義分析的方法減小詞對之間的相關性，引入衰減因子來提高詞共現(xiàn)度的準確性等對它進

3、行了改進。 (2)對概念提取方法進行了研究。借助語義資源WordNet的支持，提出了一科，概念歸并算法和概念權重計算模型來確定文檔中單詞在上下文中的概念。 (3)本文以概念代替詞形，用概念統(tǒng)計代替?zhèn)鹘y(tǒng)的詞形頻率統(tǒng)計，建立概念向量空間模型。以減小傳統(tǒng)的標引詞向量之間存在的”斜交”情形對文摘效果的影響。 (4)深入研究了主題劃分技術，并提出了一種基于概念共現(xiàn)圖模型的主題劃分方法，使得產(chǎn)生的子主題信息覆蓋率大，又盡可能