搜索引擎中的相似網(wǎng)頁探測(cè)算法研究.pdf

1、相似網(wǎng)頁在互聯(lián)網(wǎng)中的大量存在，給搜索引擎帶來了多方面的問題，如爬行程序反復(fù)的搜錄同樣內(nèi)容的網(wǎng)頁給搜索引擎的爬行程序自身及互聯(lián)網(wǎng)都帶來了沉重的負(fù)擔(dān)，由此導(dǎo)致索引的重復(fù)與額外存儲(chǔ)空間的消耗，并降低了搜索引擎的性能和用戶體驗(yàn)。因此，若有效的相似網(wǎng)頁探測(cè)算法能夠去除大量的重復(fù)網(wǎng)頁，則可以大大減輕搜索引擎的負(fù)擔(dān)和提升搜索引擎的性能與用戶體驗(yàn)。 本研究回顧了搜索引擎的發(fā)展歷程、分析了搜索引擎的工作原理，并著重研究了搜索引擎的相似網(wǎng)頁探測(cè)算法

2、的現(xiàn)狀，在分析現(xiàn)有算法的優(yōu)勢(shì)與不足后，概括了準(zhǔn)確有效的相似網(wǎng)頁探測(cè)算法所應(yīng)該具備的兩個(gè)基本條件。在經(jīng)典的Simhash指紋算法和Shingle算法的的基礎(chǔ)上，針對(duì)這兩個(gè)算法的不足，以上述兩個(gè)基本條件為基準(zhǔn)，給出了多種改進(jìn)方案。針對(duì)Simhash算法所缺乏的單詞位置信息等，將單詞位置信息融入單詞權(quán)重；針對(duì)Shingle算法缺乏詞頻特征，于是將全部Shingle的指紋進(jìn)行疊加。為了進(jìn)一步改善算法性能，考慮兩個(gè)算法的特點(diǎn)，特將兩個(gè)算法進(jìn)行集成