站點排序算法的研究與實現(xiàn).pdf

1、傳統(tǒng)的搜索引擎將網(wǎng)頁和鏈接作為處理單位，對于用戶的查詢，按照網(wǎng)頁與查詢的重要程度排序返回給用戶，但隨著互聯(lián)網(wǎng)中大量重復(fù)網(wǎng)頁和作弊鏈接的存在，使得利用網(wǎng)頁排序算法返回給用戶的結(jié)果越來越無法滿足用戶的需求。
　　站點作為互聯(lián)網(wǎng)中更高抽象層次的組成單元，能夠展現(xiàn)比網(wǎng)頁更全面的信息和信息結(jié)構(gòu)，而且針對站點的作弊行為會更加困難，所以站點排序技術(shù)已經(jīng)成為搜索引擎中一項非常重要的技術(shù)。
　　本課題對現(xiàn)有的SiteRank和Aggregat

2、eRank兩種站點排序算法進(jìn)行研究與分析，總結(jié)兩種算法的優(yōu)缺點，針對AggregateRank算法的不足，提出了改進(jìn)的AggregateRank算法。改進(jìn)算法引入了語義信息相關(guān)性和站點更新頻度的改進(jìn)方法；其中，語義信息相關(guān)性通過向量空間模型計算鏈接文本與網(wǎng)頁正文的相關(guān)度來調(diào)整鏈接權(quán)重；站點更新頻度通過計算單位時間內(nèi)的站點更新規(guī)模來調(diào)整站點的重要性，可以避免靜態(tài)大規(guī)模站點的作弊行為。
　　為了測試三種站點排序算法的性能和改進(jìn)方法的效

3、果，設(shè)計并實現(xiàn)了一個基于鏈接分析的站點排序系統(tǒng)，該系統(tǒng)提供了網(wǎng)頁鏈接解析、站點鏈接解析的功能，建立了鏈接索引庫和鏈接關(guān)系庫，能夠很好的支持以鏈接分析為基礎(chǔ)的三個站點排序算法。
　　最后，對三種站點排序算法的實驗結(jié)果利用Kendall距離和Spearman距離進(jìn)行評價。評價結(jié)果表明AggregateRank算法在性能上明顯優(yōu)于SiteRank算法，而改進(jìn)的AggregateRank算法比AggregateRank算法在性能上提升了3