基于多詞共現(xiàn)與互信息的文本自動摘要技術(shù)研究

1、分類號密級UDC編號碩士學(xué)位論文基于多詞共現(xiàn)與互信息的文本自動摘要技術(shù)研究學(xué)位申請人：人：劉星含指導(dǎo)教師：師：霍華教授學(xué)科專業(yè)：業(yè)：計算機應(yīng)用技術(shù)學(xué)位類別：別：工學(xué)2014年5月萬方數(shù)據(jù)摘要I論文題目：論文題目：基于多詞共現(xiàn)與互信息的文本自動摘要技術(shù)研究基于多詞共現(xiàn)與互信息的文本自動摘要技術(shù)研究專業(yè)：業(yè)：計算機應(yīng)用技術(shù)計算機應(yīng)用技術(shù)研究生：生：劉星含劉星含指導(dǎo)教師：指導(dǎo)教師：霍華霍華教授教授摘要文本自動摘要作為一種提取文本中重要信息的基

2、礎(chǔ)性工具，在人們的工作學(xué)習(xí)生活中充當(dāng)著重要的角色。文本自動摘要，就是利用計算機自動的從文檔中提取重要信息生成反映某一文獻(xiàn)中心內(nèi)容的短文的過程，短文中包括原文的核心內(nèi)容或用戶感興趣的內(nèi)容，可以加快信息傳播效率、提高信息檢索速度。因此，如何快速準(zhǔn)確實現(xiàn)文本自動摘要的提取已成為近年來人們研究的熱點。本文研究了基于詞共現(xiàn)與互信息的文本自動摘要技術(shù)，將詞共現(xiàn)技術(shù)應(yīng)用于文本主題詞提取，利用互信息計算進(jìn)行文本特征量化、主題劃分及主題句提取，有效提高了

3、文本摘要提取的準(zhǔn)確率。研究內(nèi)容主要包括以下幾個方面：1.為了提高文本主題詞提取的準(zhǔn)確度，本課題分析了文本中的詞共現(xiàn)現(xiàn)象，通過計算詞語之間共現(xiàn)度確定了文本中共現(xiàn)詞與主題表達(dá)之間存在的具體對應(yīng)關(guān)系，并將詞共現(xiàn)計算技術(shù)應(yīng)用于文本主題詞提取，優(yōu)化了文本主題詞提取算法。實驗證明主題詞提取的準(zhǔn)確度平均提高了6.5%。2.為了提高文本主題劃分的準(zhǔn)確度，使文本摘要盡可能全面反映文本的中心思想，本課題將互信息技術(shù)引入到文本的關(guān)聯(lián)度計算，通過計算文本中詞與

4、詞、句子與句子、段落與段落之間的互信息值量化文本段落之間的關(guān)聯(lián)度，依據(jù)文本段落間關(guān)聯(lián)度將文本劃分成隸屬于不同主題的若干個塊，實現(xiàn)了對文本主題的合理劃分。實驗證明文本主題劃分的準(zhǔn)確度平均提高了10%。3.為了提高主題句提取的準(zhǔn)確率，本課題通過引入七個關(guān)鍵要素（句子的重要性、句子中包含詞匯的重要性、主題詞的重要性、句子在文檔中出現(xiàn)的位置、句子中是否含有線索詞、句子長度及句子之間存在的關(guān)聯(lián)關(guān)系）對主題中句子的重要程度進(jìn)行量化并賦予重要程度權(quán)值