Web超鏈分析及其在搜索引擎中的應(yīng)用研究.pdf

1、隨著Internet的高速發(fā)展和快速普及，Web上可以獲取的信息也在急劇增加。由于無法瀏覽全部的Web文檔，所以人們往往求助于搜索引擎來查找所需的信息。Web超鏈分析技術(shù)可以提高搜索引擎的查準(zhǔn)率，因此成為網(wǎng)絡(luò)應(yīng)用和信息檢索方向的研究熱點。 介紹了搜索引擎的分類、發(fā)展歷程、原理和評價指標(biāo)，概括了超鏈分析技術(shù)在搜索引擎中的重要作用。闡述了目前最著名的超鏈分析算法PageRank和HITS，分析了它們存在的問題，發(fā)現(xiàn)主題漂移是影響性能

2、的主要因素。與HITS相比，PageRank在穩(wěn)定性和適用性上更勝一籌，更適合于大規(guī)模的搜索引擎。因此PageRank算法是本文的重點研究對象。對PageRank算法進行了深入的探討，在分析了國內(nèi)外主要的改進算法的基礎(chǔ)上，對PageRank缺點和改進方法進行總結(jié)歸納，從不同的角度提出了兩種改進方法。 從超鏈的創(chuàng)建動機和實際作用進行分析，發(fā)現(xiàn)超鏈的實際作用差別比較大。同時受到網(wǎng)頁分類的啟發(fā)，引入了超鏈分類概念。根據(jù)不同的類別分配不

3、同加權(quán)，提出了基于超鏈分類的HC—PageRank改進算法。為了驗證算法，在Nutch上開發(fā)了基于HC—PageRank的鏈接分析工具，實驗證明，HC—PageRank的查準(zhǔn)率高于傳統(tǒng)的PageRank算法。 在對PageRank計算過程研究的基礎(chǔ)上，發(fā)現(xiàn)PageRank值不具備語義性。根據(jù)HITS在線聚類原理，在查詢時根據(jù)奄詢詞的語義進行PageRank調(diào)整，提出了基于超鏈內(nèi)容PageRank調(diào)整算法。為了驗證算法，在Nutc