隱藏頁(yè)面檢測(cè)系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展以及網(wǎng)絡(luò)信息資源的飛速增長(zhǎng)，人們對(duì)于網(wǎng)絡(luò)的依賴性越來(lái)越強(qiáng)，對(duì)網(wǎng)絡(luò)信息搜索的要求也愈來(lái)愈高，而搜索引擎成為了連接個(gè)人和網(wǎng)絡(luò)資源的一個(gè)不可或缺的渠道。很多網(wǎng)站使用黑帽SEO來(lái)提高網(wǎng)站在搜索引擎結(jié)果中的排名以增加用戶點(diǎn)擊率，其中較為常見的一種黑帽SEO技術(shù)就是頁(yè)面隱藏技術(shù)(Cloaking)。使用頁(yè)面隱藏技術(shù)的網(wǎng)站對(duì)搜索引擎?zhèn)窝b其真實(shí)內(nèi)容，當(dāng)爬蟲爬行到一個(gè)Web站點(diǎn)時(shí)，該站點(diǎn)對(duì)它返回一個(gè)經(jīng)過(guò)定制了的頁(yè)面，即網(wǎng)站對(duì)爬蟲和

2、普通用戶返回不同的內(nèi)容。
　　 針對(duì)以往檢測(cè)方法中相似度檢測(cè)準(zhǔn)確度不高的缺點(diǎn)，本文提出一種基于網(wǎng)頁(yè)三種特征的相似性檢測(cè)優(yōu)化算法，對(duì)網(wǎng)頁(yè)中的文本、標(biāo)簽和URL元素特征進(jìn)行提取，并分別比較相似度，通過(guò)基于閾值的方法分級(jí)過(guò)濾高相似度的網(wǎng)頁(yè)，提高檢測(cè)的準(zhǔn)確度;更進(jìn)一步，本文通過(guò)模擬五種不同角色的方法爬取頁(yè)面，并利用提出的算法進(jìn)行比較，不但可以判斷是否隱藏，還可以識(shí)別具體隱藏頁(yè)面的類型。其中，利用模擬JavaScript腳本解析的方法識(shí)別

3、以往研究中并未解決的JavaScript跳轉(zhuǎn)隱藏檢測(cè)。
　　 圍繞以上方法，本文實(shí)現(xiàn)了一個(gè)隱藏頁(yè)面檢測(cè)原型系統(tǒng)。該系統(tǒng)通過(guò)偽裝爬蟲HTTP請(qǐng)求頭信息，調(diào)用內(nèi)置JavaScript引擎，抓取網(wǎng)頁(yè)緩存等方式獲取五個(gè)版本的頁(yè)面內(nèi)容，然后對(duì)其應(yīng)用本文提出的檢測(cè)算法，對(duì)隱藏頁(yè)面進(jìn)行判斷并識(shí)別。本文將該系統(tǒng)應(yīng)用于雅虎搜索引擎，抓取搜索結(jié)果中的10萬(wàn)個(gè)URL進(jìn)行檢測(cè)，從中選取5000個(gè)作為樣本數(shù)據(jù)集，并對(duì)其中1000個(gè)URL進(jìn)行手動(dòng)標(biāo)記。本文