基于淺層語義分析的文本摘要方法研究與實現(xiàn).pdf

1、當前，互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的快速普及使得信息資源爆炸性增長。豐富的信息資源一方面給人們帶來極大便利，同時也在有效資源的選擇上面臨諸多困難。從網(wǎng)絡(luò)信息資源的類型來看，非結(jié)構(gòu)化資源的比例呈現(xiàn)增長趨勢，所涉及的處理技術(shù)相比結(jié)構(gòu)化數(shù)據(jù)而言具備更大的難度。其中，文本類型信息具有典型的非結(jié)構(gòu)化特征，對其進行有效分析和處理在互聯(lián)網(wǎng)以及諸多行業(yè)中具有十分重要的理論價值和實踐意義。
　　文本摘要是文本信息處理中的一個非常重要的組成部分。在實現(xiàn)方法上，

2、本文使用的淺層語義特征區(qū)別于常用的詞語特征，研究的重點不再是可以觀察到的構(gòu)成文章的詞語、句子等基本信息，而是隱藏在這些句子、詞語背后，更深層次的語義信息，稱之為主題特征。通過對文章主題特征的挖掘與分析，可以進一步得到主題-詞語的關(guān)聯(lián)，主題-句子的關(guān)聯(lián)?；谶@種關(guān)聯(lián)關(guān)系衡量句子或者詞語表達文章主題的能力，從而選擇出能夠完整表達文章主題的句子作為文本摘要。
　　本文在詳細闡述國內(nèi)外研究現(xiàn)狀的基礎(chǔ)上，首先基于主題對句子關(guān)聯(lián)度計算進行了針

3、對性研究，提出一種新的衡量句子與句子相關(guān)性的方法，在語義層面，充分利用主題對文章的表達能力，基于主題在句子上的概率分布，使用相對熵來計算兩個句子上主題概率分布的差異性來確定句子相關(guān)度，同時將文本歸結(jié)為三類內(nèi)容，作為摘要提取的依據(jù)，并在NLPCC2015數(shù)據(jù)集上進行了實驗驗證。
　　同時，論文基于主題和圖模型改進了文本摘要算法。通過 LDA模型挖掘出文本語義層面的主題特征，分析文本中詞語和主題的對應(yīng)關(guān)系，基于改進的圖模型進行文本摘要

4、，改進其以往的建邊方式，使用主題關(guān)聯(lián)來確定不同節(jié)點之間是否建邊。并在 DUC數(shù)據(jù)集上實驗驗證，其 ROUGE分數(shù)在比較的幾種算法中得分最高。
　　最后，在文本摘要關(guān)鍵技術(shù)基礎(chǔ)上搭建了一個文本摘要功能演示系統(tǒng)?；赟truts2、Hibernate框架，結(jié)合sitemesh、JQuery、CSS、JSP、HTML等技術(shù)，可以通過在輸入框中輸入文本或者提交文檔的方式實時得到文本摘要的分析結(jié)果。
　　本文所研究內(nèi)容已經(jīng)在實際項目中