基于多詞共現(xiàn)與互信息的文本自動(dòng)摘要技術(shù)研究.pdf

1、文本自動(dòng)處理作為一種提取文本中重要信息的基礎(chǔ)性工具，在人們的工作學(xué)習(xí)生活中充當(dāng)著重要的角色。文本自動(dòng)處理就是利用計(jì)算機(jī)自動(dòng)的從文檔中提取重要信息生成反映某一文獻(xiàn)中心內(nèi)容的短文的過程，短文中包括原文的核心內(nèi)容或用戶感興趣的內(nèi)容，可以加快信息傳播效率、提高信息檢索速度。因此，如何快速準(zhǔn)確實(shí)現(xiàn)文本自動(dòng)的提取已成為近年來人們研究的熱點(diǎn)。本文研究了基于詞共現(xiàn)與互信息的文本自動(dòng)處理技術(shù)，將詞共現(xiàn)技術(shù)應(yīng)用于文本核心詞提取，利用互信息計(jì)算進(jìn)行文本特征量

2、化及主題句提取，有效提高了文本提取的準(zhǔn)確率。
　　本研究主要內(nèi)容包括：⑴為了提高文本核心詞提取的準(zhǔn)確度，本課題分析了文本中的詞共現(xiàn)現(xiàn)象，通過計(jì)算詞語之間共現(xiàn)度確定了文本中共現(xiàn)詞與主題表達(dá)之間存在的具體對(duì)應(yīng)關(guān)系，并將詞共現(xiàn)計(jì)算技術(shù)應(yīng)用于文本核心詞提取，優(yōu)化了文本核心詞提取算法。實(shí)驗(yàn)證明核心詞提取的準(zhǔn)確度平均提高了6.5％。⑵為了提高文本主題劃分的準(zhǔn)確度，使文本處理盡可能全面反映文本的中心思想，本課題將互信息技術(shù)引入到文本的關(guān)聯(lián)度計(jì)算

3、，通過計(jì)算文本中詞與詞、句子與句子、段落與段落之間的互信息值量化文本段落之間的關(guān)聯(lián)度，依據(jù)文本段落間關(guān)聯(lián)度將文本劃分成隸屬于不同主題的若干個(gè)塊，實(shí)現(xiàn)了對(duì)文本主題的合理劃分。實(shí)驗(yàn)證明文本主題劃分的準(zhǔn)確度平均提高了10%。⑶為了提高語句提取的準(zhǔn)確率，本課題通過引入七個(gè)關(guān)鍵要素（句子的重要性、句子中包含詞匯的重要性、核心詞的重要性、句子在文檔中出現(xiàn)的位置、句子中是否含有線索詞、句子長度及句子之間存在的關(guān)聯(lián)關(guān)系）對(duì)句子的重要程度進(jìn)行量化并賦予重