垃圾網(wǎng)頁(yè)檢測(cè)的關(guān)鍵技術(shù)研究.pdf

1、網(wǎng)頁(yè)作弊是指作弊者運(yùn)用各種手段欺騙搜索引擎，使網(wǎng)頁(yè)在搜索結(jié)果中獲得高于其本身應(yīng)得排名的行為。垃圾網(wǎng)頁(yè)的泛濫嚴(yán)重危害了搜索引擎公司、合法網(wǎng)站和各類用戶的利益，因此研究垃圾網(wǎng)頁(yè)檢測(cè)技術(shù)已成為一項(xiàng)艱巨而重要的任務(wù)。
　　針對(duì)鏈接作弊，排序算法是一種有效手段。但由于Web中存在由正常網(wǎng)頁(yè)指向垃圾網(wǎng)頁(yè)的鏈接，導(dǎo)致排序算法（Anti-TrustRank等）檢測(cè)性能降低，且多數(shù)排序算法沒(méi)有考慮網(wǎng)頁(yè)內(nèi)容特性，因此本文改進(jìn)Anti-TrustRan

2、k和加權(quán)非信任值排序(WeightedAnti-TrustRank，WATR)算法，提出了一種主題相似度和鏈接權(quán)重相結(jié)合，共同調(diào)節(jié)網(wǎng)頁(yè)非信任值傳播的排序算法，即結(jié)合主題與鏈接的非信任排序(Distrust Rank based onTopic and Link integration，TLDR)。其中，主題相似度權(quán)重運(yùn)用隱含狄利克雷分配(LatentDirichlet Allocation，LDA)模型計(jì)算，鏈接權(quán)重根據(jù)鏈接結(jié)構(gòu)計(jì)算。實(shí)

3、驗(yàn)結(jié)果表明，與Anti-TrustRank和WATR相比，TLDR算法能使網(wǎng)頁(yè)得到更合理的非信任值，檢測(cè)性能有明顯的提高。
　　針對(duì)內(nèi)容和鏈接作弊，本文從Web信息源質(zhì)量、Web內(nèi)容質(zhì)量和Web應(yīng)用質(zhì)量三個(gè)子維度量化了網(wǎng)頁(yè)質(zhì)量，從危害度特性和主題特性兩方面量化了語(yǔ)義特征，并與內(nèi)容和鏈接特征共同構(gòu)建了區(qū)分度高的特征集。此外，分類算法常用來(lái)解決垃圾網(wǎng)頁(yè)檢測(cè)問(wèn)題，但分類算法性能易受數(shù)據(jù)分布不均衡的影響，而離群點(diǎn)挖掘算法正適用于不均衡的情