搜索引擎重復(fù)網(wǎng)頁(yè)檢測(cè)技術(shù)研究.pdf

1、網(wǎng)絡(luò)的飛速發(fā)展，給人們帶來(lái)了一個(gè)信息的海洋，如何快速?gòu)闹蝎@取真正重要的信息變得至關(guān)重要，搜索引擎便是提供這種功能的一種工具。然而在搜索引擎返回的檢索結(jié)果中，存在著大量的重復(fù)網(wǎng)頁(yè)。這不僅嚴(yán)重影響了搜索引擎檢索信息的效率，同時(shí)存儲(chǔ)這些重復(fù)網(wǎng)頁(yè)浪費(fèi)了巨大的存儲(chǔ)空間。而對(duì)于搜索引擎的用戶而言，在檢索含有大量重復(fù)網(wǎng)頁(yè)的系統(tǒng)時(shí)，提供給用戶的有效響應(yīng)明顯降低。因此，重復(fù)網(wǎng)頁(yè)檢測(cè)已成為搜索引擎提高檢索效率與服務(wù)質(zhì)量的關(guān)鍵技術(shù)之一。
　　 本文以

2、搜索引擎的重復(fù)網(wǎng)頁(yè)檢測(cè)問題為研究背景，首先對(duì)現(xiàn)存的主要重復(fù)網(wǎng)頁(yè)檢測(cè)算法進(jìn)行了深入的研究，總結(jié)了它們各自的優(yōu)缺點(diǎn)；并以此為基礎(chǔ)提出了一種基于語(yǔ)義的重復(fù)網(wǎng)頁(yè)檢測(cè)算法。該算法主要針對(duì)重復(fù)網(wǎng)頁(yè)檢測(cè)的兩個(gè)關(guān)鍵環(huán)節(jié)進(jìn)行優(yōu)化。
　　 在文本預(yù)處理中，根據(jù)詞語(yǔ)之間存在著大量的同義與近義的語(yǔ)義關(guān)系，增加了同義詞與近義詞的歸并；在特征提取環(huán)節(jié)，從詞語(yǔ)在文本中的語(yǔ)義角度出發(fā)，與傳統(tǒng)方法相比，增加了詞語(yǔ)的位置權(quán)值與長(zhǎng)度權(quán)值；在特征比較環(huán)節(jié)，回避了傳統(tǒng)方

3、法對(duì)網(wǎng)頁(yè)的兩兩比較，采用了二叉排序樹的數(shù)據(jù)結(jié)構(gòu)，比較的效率得到很大的提高。并針對(duì)如何對(duì)提取的關(guān)鍵詞排序的問題，又提出了兩種關(guān)鍵詞排序方法，一種是按關(guān)鍵詞權(quán)值排序的SORTw(Kd)方法，另一種是按關(guān)鍵詞字母排序的SORTa(Kd)方法。
　　 為了驗(yàn)證所提出算法的有效性和效率，本文在Windows平臺(tái)實(shí)現(xiàn)了一個(gè)重復(fù)網(wǎng)頁(yè)檢測(cè)的原型系統(tǒng)。運(yùn)用此原型系統(tǒng)，進(jìn)行了一系列的實(shí)驗(yàn)分析與總結(jié)，并驗(yàn)證了本文所提出的基于語(yǔ)義的重復(fù)網(wǎng)頁(yè)檢測(cè)算法及兩