基于語義分析的垃圾頁面檢測(cè)算法研究.pdf

1、垃圾網(wǎng)頁是針對(duì)搜索引擎結(jié)果排名設(shè)計(jì)的，而不是為了提高用戶上網(wǎng)體驗(yàn)。為了能使某些頁面在搜索引擎的檢索排名中比較靠前，垃圾網(wǎng)頁制作者往往采用欺騙搜索引擎的手段。垃圾網(wǎng)頁的猖獗使得搜索引擎的檢索排名越來越不能反映網(wǎng)頁的真實(shí)價(jià)值，用戶的搜索體驗(yàn)不斷下降，垃圾網(wǎng)頁已經(jīng)成為搜索引擎面臨的最大挑戰(zhàn)之一。因此，研究有效的垃圾網(wǎng)頁檢測(cè)算法具有深遠(yuǎn)的意義。
　　本文首先對(duì)搜索引擎的工作原理進(jìn)行了簡(jiǎn)單描述，并介紹了幾種常用的垃圾網(wǎng)頁檢測(cè)技術(shù)，對(duì)他們的研

2、究狀況做了簡(jiǎn)單的分析。接著說明了這些技術(shù)的基本原理以及他們的特點(diǎn)，總結(jié)了一系列反搜索引擎技術(shù)。
　　本文針對(duì)垃圾網(wǎng)頁的特點(diǎn)，圍繞特征提取和分類器設(shè)計(jì)等關(guān)鍵問題進(jìn)行了研究，并用機(jī)器學(xué)習(xí)的方法，系統(tǒng)設(shè)計(jì)了垃圾網(wǎng)頁檢測(cè)框架。核心思想是提取網(wǎng)頁中具有代表性的內(nèi)容特征，然后用機(jī)器學(xué)習(xí)算法訓(xùn)練這些特征，構(gòu)建檢測(cè)模型，再用生成的檢測(cè)模型對(duì)網(wǎng)頁進(jìn)行分類。這樣就把垃圾網(wǎng)頁的檢測(cè)轉(zhuǎn)化成機(jī)器學(xué)習(xí)中的分類問題，采用C4.5決策樹算法，將網(wǎng)頁分類為正常網(wǎng)頁