基于頁面相似度的鏈接分析算法研究.pdf

1、Web為人們提供了豐富的信息資源的同時，它所具有的海量數(shù)據(jù)、復雜性、極強的動態(tài)性和用戶的多態(tài)性等特點也給Web資源的挖掘造成了相當?shù)碾y度。由于Web信息是自組織和半結構化的，經(jīng)典的信息檢索和數(shù)據(jù)庫技術很難得到有效的應用。超鏈接是Web特有的組成部分，是聯(lián)系Web上數(shù)據(jù)資源的紐帶。鏈接分析是提高Web資源挖掘質量的重要途徑。 本文詳細分析了Web數(shù)據(jù)挖掘方法及Web搜索引擎的結構，分析了Web鏈接結構的特征及主流的鏈接分析算法的特

2、點及存在的問題。Pagerank算法和HITS算法是兩種典型的基于鏈接分析的頁面排序算法。但是PageRank算法同等對待網(wǎng)頁間的鏈接，沒有考慮網(wǎng)頁更新時間的重要性、導航網(wǎng)頁的影響等；HITS算法忽略了主機之間的多重加強關系，容易發(fā)生主題偏移產(chǎn)生不合理結果以及不能滿足用戶站點粒度的信息需求等。根據(jù)Web鏈接特征以及網(wǎng)絡沖浪者的瀏覽過程，可以發(fā)現(xiàn)網(wǎng)絡沖浪者的隨機游走過程受當前頁面內容的影響，通常會跳轉到與當前頁面內容相關性很大頁面，而不是

3、等概率地沿著出鏈跳轉。在此基礎上，本文引入了SimRank算法來定義網(wǎng)頁之間的相似性，從而給出了一種基于網(wǎng)頁間相似度權值分配模式，對相關性大的頁面間的鏈接賦予較大的跳轉概率。利用此分配模式我們提出了一種基于分配因子排序算法RAD(Ranking Algorithm Based on Distributed Factor)。 本文闡述了RAD算法平臺設計，包括實驗數(shù)據(jù)集的獲取、數(shù)據(jù)庫設計、剪枝處理、SimRank算法實現(xiàn)及RAD算