面向主題的Web文檔自動(dòng)文摘生成方法研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，信息爆炸已經(jīng)成為一個(gè)很嚴(yán)峻的問題。面對(duì)互聯(lián)網(wǎng)中海量的信息，想要快速有效地獲取所需信息變得越來越困難。如何為用戶提供簡(jiǎn)潔有效的信息、滿足用戶個(gè)性化的需求并提高人們獲取信息的效率是一個(gè)迫切需要解決的問題。為了解決上述問題，本文研究了面向主題的Web文檔自動(dòng)文摘生成方法。具體地講，本文主要對(duì)以下幾個(gè)方面進(jìn)行了研究：
　　 1.對(duì)主題各側(cè)面相關(guān)句子的識(shí)別方法進(jìn)行了研究。提出了一種基于依存關(guān)系的句子相似度計(jì)算方法，使

2、用該方法對(duì)句子進(jìn)行聚類，然后從每個(gè)類中抽取詞和語法特征形成模式，并使用這些模式來識(shí)別主題各側(cè)面相關(guān)句子。另外，還研究了使用分類器來進(jìn)一步識(shí)別主題各側(cè)面相關(guān)句子的方法。該方法根據(jù)詞在依存樹中的層次對(duì)詞的權(quán)重進(jìn)行調(diào)整，選取有效的依存關(guān)系作為特征，使用句法樹作為結(jié)構(gòu)特征并用基于動(dòng)詞的裁剪策略對(duì)句法樹進(jìn)行裁剪。
　　 2.在文摘句的選取部分，提出了一種適用于Web文檔的文摘句選擇方法。該方法先根據(jù)Web文檔的特點(diǎn)對(duì)候選句子進(jìn)行評(píng)分，再依

3、據(jù)句子間的相似性、文檔間的鏈接、句子間的錨鏈接、句子間的相似度和句子的鄰接關(guān)系，使用圖排序算法對(duì)句子的評(píng)分進(jìn)行調(diào)整。最后使用MMI算法根據(jù)句子的評(píng)分和文摘的長(zhǎng)度限制選擇文摘句。
　　 3.在文摘句的排序部分，提出了一種基于上下文的句子排序算法。該方法通過計(jì)算文摘句的上下文和其它文摘句的相似度來判斷句子間是否相鄰，并根據(jù)相似度和句子間的相對(duì)位置關(guān)系計(jì)算其可信度。使用基于特征的方法選擇第一個(gè)句子。選擇和前面一個(gè)句子有最大鄰接度的句子