基于不同特征權(quán)重的中文網(wǎng)頁(yè)自動(dòng)摘要.pdf

1、文檔的自動(dòng)文摘是自然語(yǔ)言理解領(lǐng)域中的一個(gè)重要的研究方向。近年來(lái)，隨著互聯(lián)網(wǎng)的普及，網(wǎng)上的信息越來(lái)越多，為人們提供了豐富的信息資源。在數(shù)量龐大的網(wǎng)頁(yè)中瀏覽自己需要的內(nèi)容，會(huì)花掉很多時(shí)間，而用戶(hù)關(guān)心的只是其中的一小部分。通過(guò)搜索引擎能幫助用戶(hù)獲得所有與主題相關(guān)的頁(yè)面，但返回的頁(yè)面太多，而且有大量是重復(fù)和相似的，這樣人們就不能快速獲得自己真正所需要的信息。網(wǎng)頁(yè)自動(dòng)文摘技術(shù)研究的目標(biāo)正是力求解決這一問(wèn)題，直接給用戶(hù)提供簡(jiǎn)潔的、信息全面的頁(yè)面內(nèi)容

2、的概要，以提高用戶(hù)獲取信息的效率。 基于句子抽取的方法是一個(gè)歷史悠久、簡(jiǎn)單有效且目前仍然被廣泛使用的自動(dòng)文摘方法。這種方法是利用統(tǒng)計(jì)學(xué)的方法或者通過(guò)啟發(fā)式的方法從原文中抽取句子，然后按照長(zhǎng)度要求將這些句子有機(jī)結(jié)合起來(lái)形成一篇文摘，使其盡可能多地保留原文中的信息。本文研究的重點(diǎn)是基于句子抽取的單篇中文網(wǎng)頁(yè)自動(dòng)摘要的幾個(gè)關(guān)鍵技術(shù)。包括網(wǎng)頁(yè)預(yù)處理、挖掘關(guān)鍵詞串、句子權(quán)重的計(jì)算等。 在摘要分析之前，需要對(duì)網(wǎng)頁(yè)文件做預(yù)處理。在一篇

3、HTML文檔中，有很多和頁(yè)面正文內(nèi)容無(wú)關(guān)的語(yǔ)句，需要將它們過(guò)濾掉。使摘要分析的時(shí)候可以縮小掃描范圍，而且得到更準(zhǔn)確的正文內(nèi)容。 挖掘關(guān)鍵詞串在摘要過(guò)程中起著重要的作用。本文提出用頻繁序列挖掘的方法提取關(guān)鍵詞串。首先用改進(jìn)的PAT樹(shù)技術(shù)為文本創(chuàng)建一個(gè)樹(shù)存儲(chǔ)結(jié)構(gòu)，然后結(jié)合凈頻率計(jì)算方法挖掘出頻繁出現(xiàn)的字串作為關(guān)鍵字串。實(shí)驗(yàn)表明，序列挖掘方法能從中文網(wǎng)頁(yè)中更好地識(shí)別出人名地名，網(wǎng)頁(yè)中出現(xiàn)的新詞，以及常用動(dòng)名詞詞組，名詞詞組等。