面向網(wǎng)頁去看的特征提取與重復(fù)模式發(fā)現(xiàn).pdf

1、互聯(lián)網(wǎng)的快速發(fā)展給人們帶來了新的獲取信息和交流的方式。隨著網(wǎng)站和網(wǎng)頁數(shù)目的不斷增加,為了用戶能方便的訪問它們,搜索引擎應(yīng)運而生。但由于互聯(lián)網(wǎng)上存在大量的因轉(zhuǎn)載或抄襲形成的重復(fù)網(wǎng)頁,這些網(wǎng)頁被搜索引擎重復(fù)的存儲和檢索,造成存儲空間的浪費和檢索效率的降低,同時也帶來了較差的用戶體驗。因此網(wǎng)頁去重是搜索引擎中比較重要的一個環(huán)節(jié)。
　　 本文針對網(wǎng)頁去重著重研究以下兩個問題:第一個問題是網(wǎng)頁特征提取。網(wǎng)頁特征提取的前提是網(wǎng)頁正文提取,但

2、由于廣告等噪聲的存在,導(dǎo)致目前的正文提取算法均不能完全準確的提取出網(wǎng)頁正文內(nèi)容,這對后續(xù)的網(wǎng)頁去重造成了較大的影響。如何在存在少許噪聲的正文中提取純凈的網(wǎng)頁特征在很大程度上決定了網(wǎng)頁去重的準確率。本文提出了基于層次篩選的特征提取算法,充分考慮了段落、句子與關(guān)鍵詞的聯(lián)系,逐層篩選網(wǎng)頁信息得到特征詞、詞性對集合,達到將網(wǎng)頁本身結(jié)構(gòu)和內(nèi)部信息權(quán)重結(jié)合的目的,使提取出的特征不僅能均勻覆蓋網(wǎng)頁,還具有一定的抗噪性。
　　 第二個問題是網(wǎng)頁

3、特征重復(fù)模式發(fā)現(xiàn)。目前的重復(fù)模式發(fā)現(xiàn)算法主要分為兩種:基于集合的實現(xiàn)和基于特征串的實現(xiàn)?；诩系膶崿F(xiàn)比較注重特征集合中特征項的權(quán)重,但忽視了特征項的順序,加上HaSh值沖突問題帶來的誤判,此實現(xiàn)并不適合用于網(wǎng)頁去重;基于特征串的實現(xiàn)雖然考慮了特征項的順序,但采用最長公共子串衡量網(wǎng)頁重復(fù)度則過于嚴格,檢測不出非連續(xù)重復(fù)的網(wǎng)頁。為了解決上述問題,本文提出了基于改進最長公共子序列的重復(fù)模式發(fā)現(xiàn)算法。將特征詞、詞性對集合以句子為單位計算最長公