搜索引擎中網(wǎng)頁查重方法的研究.pdf

1、搜索引擎已經(jīng)成為人們獲取信息最主要的途徑。與傳統(tǒng)的獲取信息方式相比，搜索引擎返回的信息更快速、更便捷、更全面。搜索引擎已經(jīng)成為電子時代不可缺少的一部分。但是由于電子信息的特殊性，網(wǎng)絡(luò)上有很多重復(fù)的信息，即在不同的網(wǎng)頁地址上內(nèi)容卻是相同的，或者大體一致的。為了提高搜索引擎和用戶檢索的效率，網(wǎng)頁查重的研究是非常必要的。
　　 網(wǎng)頁查重主要包括兩部分，一是對原始網(wǎng)頁的處理，主要是對網(wǎng)頁噪音凈化以及對網(wǎng)頁主題信息的提??；二是對網(wǎng)頁內(nèi)容進(jìn)

2、行查重處理。目前許多研究機(jī)構(gòu)都在進(jìn)行網(wǎng)頁相似度的研究，也提出了一些相似度檢測的方法，主要有三種類型：url分析、鏈接分析和內(nèi)容分析。本文首先介紹了已有網(wǎng)頁凈化方法，并詳細(xì)介紹了課題研究采用的Jtidy凈化方法。其原理是JTidy被parseDOM方法調(diào)用，得到一個xml文檔的InputStream類，并且形成一個DOM樹，再利用標(biāo)準(zhǔn)的DOMAPI方法，使用簡單的語句對DOM進(jìn)行遍歷，提取文檔特定標(biāo)簽之間的內(nèi)容以便建立索引；然后介紹了網(wǎng)頁

3、相似度檢測方法，對現(xiàn)有的方法進(jìn)行了討論分析，并提出了使用bloomfilter基于內(nèi)容的檢測相似性的方法。其具體過程是對凈化后的網(wǎng)頁文件，使用CDC進(jìn)行內(nèi)容塊的分割，使每個網(wǎng)頁成為許多內(nèi)容塊的集合。再對各個網(wǎng)頁的內(nèi)容塊進(jìn)行hash，得到各個網(wǎng)頁的bloomfilter，并將其保存。通過新增網(wǎng)頁的bloomfilter與已存儲的bloomfilter進(jìn)行位與操作進(jìn)行判定，如果達(dá)到給定閾值，則判斷為相似網(wǎng)頁;最后介紹了網(wǎng)頁查重的分析與實現(xiàn)，