一種基于相似度值的向量空間投影HITS算法.pdf

1、互聯網是現代社會人們交流信息、共享資源的主要途徑。作為搜索信息的重要平臺，互聯網所具有的海量數據、異構性、半結構性、極強的動態(tài)性、用戶多樣性等特點卻給Web資源的挖掘帶來了相當大的難度。傳統(tǒng)的數據挖掘技術已不適用于日新月異的互聯網，Web數據挖掘技術應運而生。
　　 搜索引擎是人們查找網絡信息的重要工具，它應用Web數據挖掘技術，可以幫助人們獲取到需求的信息。目前有多種搜索引擎算法，但是大多數算法是對Web頁面的文本內容進行挖掘

2、，檢索結果集過于龐大，用戶難以快速地獲取到自己所需求的信息，這是困擾人們高效利用信息資源的一項急待解決的難題。
　　 近幾年，超鏈接分析的引入和應用為解決這項難題提供了一條嶄新的思路，因為互聯網鏈接結構包含了大量潛在的推薦規(guī)律，根據這些規(guī)律能夠推斷出許多Web文檔內容所不包含的資源，Web結構挖掘成為了Web數據挖掘的一個重要研究方向。HITS(Hyperlink Induced Topic Search)算法正是在傳統(tǒng)搜索引擎

3、查詢結果的基礎上分析鏈接結構，對Web數據進行挖掘。
　　 本文主要是關于HITS算法的研究，此算法是一種應用較為廣泛的Web結構挖掘算法，主要應用在搜索引擎的Web頁面結果集排序中。本文首先介紹了Web數據挖掘及其分類，對于其重點研究方向——Web結構挖掘的典型算法進行了歸納，然后深入研究了HITS算法，并對其原理進行了詳細地描述。在對HITS算法及其改進算法進行深入研究的基礎上，本文提出了一種基于相似度值的向量空間投影HIT

4、S改進算法，在傳統(tǒng)HITS算法的基礎上作出了以下三個方面的改進：
　　 1)精簡基集。傳統(tǒng)HITS算法在根集擴展為基集階段引入了大量頁面，但是其中包含大量同域內的Web頁面和廣告鏈接，它們之間的超鏈接一般僅用于導航目的，不具備參考價值。本文改進的HITS算法對基集進行精簡，對同域內的Web頁面和無關頁面進行判斷，予以刪除，大大節(jié)約了算法的運算開銷；
　　 2)獲取搜索引擎返回的相似度值?？紤]到傳統(tǒng)搜索引擎爬取Web頁面后

5、將文本內容和查詢主題表示成詞條特征向量，然后通過計算向量的點積來獲得兩者的相似度值，并隨著結果集同時返回給用戶，因此采用這些易獲取的相似度值來計算超鏈接與用戶查詢主題的相關性，不僅可以提高算法區(qū)分鏈接重要性的能力，同時還避免了重復對頁面文本內容進行分析，節(jié)省了系統(tǒng)開銷。
　　 3)基于相似度值的空間向量投影方法。將每一特征向量在權威性高的基于相似度值的子空間上進行投影，返回的頁面結果集與相似度值高的頁面集鏈接最為密切，在不增加計