搜索引擎中網(wǎng)頁(yè)查重方法的研究.pdf

1、搜索引擎已經(jīng)成為人們獲取信息最主要的途徑。與傳統(tǒng)的獲取信息方式相比，搜索引擎返回的信息更快速、更便捷、更全面。搜索引擎已經(jīng)成為電子時(shí)代不可缺少的一部分。但是由于電子信息的特殊性，網(wǎng)絡(luò)上有很多重復(fù)的信息，即在不同的網(wǎng)頁(yè)地址上內(nèi)容卻是相同的，或者大體一致的。為了提高搜索引擎和用戶檢索的效率，網(wǎng)頁(yè)查重的研究是非常必要的。
　　 網(wǎng)頁(yè)查重主要包括兩部分，一是對(duì)原始網(wǎng)頁(yè)的處理，主要是對(duì)網(wǎng)頁(yè)噪音凈化以及對(duì)網(wǎng)頁(yè)主題信息的提?。欢菍?duì)網(wǎng)頁(yè)內(nèi)容進(jìn)

2、行查重處理。目前許多研究機(jī)構(gòu)都在進(jìn)行網(wǎng)頁(yè)相似度的研究，也提出了一些相似度檢測(cè)的方法，主要有三種類型：url分析、鏈接分析和內(nèi)容分析。本文首先介紹了已有網(wǎng)頁(yè)凈化方法，并詳細(xì)介紹了課題研究采用的Jtidy凈化方法。其原理是JTidy被parseDOM方法調(diào)用，得到一個(gè)xml文檔的InputStream類，并且形成一個(gè)DOM樹(shù)，再利用標(biāo)準(zhǔn)的DOMAPI方法，使用簡(jiǎn)單的語(yǔ)句對(duì)DOM進(jìn)行遍歷，提取文檔特定標(biāo)簽之間的內(nèi)容以便建立索引；然后介紹了網(wǎng)頁(yè)

3、相似度檢測(cè)方法，對(duì)現(xiàn)有的方法進(jìn)行了討論分析，并提出了使用bloomfilter基于內(nèi)容的檢測(cè)相似性的方法。其具體過(guò)程是對(duì)凈化后的網(wǎng)頁(yè)文件，使用CDC進(jìn)行內(nèi)容塊的分割，使每個(gè)網(wǎng)頁(yè)成為許多內(nèi)容塊的集合。再對(duì)各個(gè)網(wǎng)頁(yè)的內(nèi)容塊進(jìn)行hash，得到各個(gè)網(wǎng)頁(yè)的bloomfilter，并將其保存。通過(guò)新增網(wǎng)頁(yè)的bloomfilter與已存儲(chǔ)的bloomfilter進(jìn)行位與操作進(jìn)行判定，如果達(dá)到給定閾值，則判斷為相似網(wǎng)頁(yè);最后介紹了網(wǎng)頁(yè)查重的分析與實(shí)現(xiàn)，