效用驅(qū)動的主題Web挖掘算法研究.pdf

1、Internet的出現(xiàn)和快速發(fā)展,現(xiàn)已成為目前世界上最大的信息資源庫.然而面對巨大的Web資源庫,用戶若想獲得所需要信息已不再是一件簡單的事情.通用搜索引擎雖然在一定程度上滿足了人們的需要,但由于其通用的性質(zhì),仍不能滿足不同背景、不同目的和不同時期的Web用戶檢索的需要,用戶從中得到的查詢結(jié)果往往是一個長長的列表,其中包含了大量重復信息和不相關(guān)信息,而要找到想要的信息是一件很困難的事情,因此當要滿足一些高級或?qū)I(yè)性的信息檢索要求時,就需

2、要獲得一個面向特定主題(或者特定領(lǐng)域)的全面的Web頁面集合,為此,針對主題Web挖掘技術(shù)的研究應(yīng)運而生. 通用搜索引擎的局限性在于其試圖索引全部Web并且試圖服務(wù)于涉及所有主題的查詢請求,而面對的又是如此巨大的Web資源庫,顯然心有余而力不足.面向主題的主題爬蟲是主題Web挖掘的核心技術(shù),主題爬蟲只覆蓋與特定領(lǐng)域相關(guān)的網(wǎng)頁,爬行原則是盡量使爬行相關(guān)頁面數(shù)量最大化,不相關(guān)頁面數(shù)量最小化,這樣它可以搜索的更深,搜索的周期可以更短,

3、更能滿足用戶對獲取資源的快速、準確性的要求. 本文主要的研究工作是根據(jù)爬蟲的效用來進行技術(shù)分析和研究.在主題搜索中,主題爬蟲以何種搜索策略訪問Web,提高效率,是主題Web挖掘研究的熱點問題之一.而Web的動態(tài)性,異構(gòu)性和復雜性要求主題爬蟲能夠高效率的實現(xiàn)Web信息提取,保證信息的實時性和有效性.本文的主要工作體現(xiàn)在以下幾方面: (1)介紹了通用搜索引擎的基本結(jié)構(gòu)、工作原理、分類及其現(xiàn)狀和局限性,分析了主題Web挖掘的研

4、究背景,任務(wù)及目前研究技術(shù)的進展,探討了主題爬蟲關(guān)鍵技術(shù)及其實現(xiàn)要點,并對通用搜索引擎和主題Web挖掘的關(guān)系進行了分析. (2)按照評價鏈接價值所采用方法的不同,對主題Web挖掘中現(xiàn)有的主題爬蟲搜索策略進行了分類,系統(tǒng)分析、并比較了它們的特點和優(yōu)缺點,歸納了提高搜索效率的三個關(guān)鍵因素,考慮到主題Web挖掘?qū)?shù)據(jù)實時性、專業(yè)性的要求要遠遠高于通用搜索引擎,提出了一種全新的基于索引頁的增量Web信息提取算法,能夠高效快速地發(fā)現(xiàn)Web

5、上新增加的頁面. (3)考慮到基于超鏈接結(jié)構(gòu)的算法和基于向量空間模型的算法各自的局限性和互補性,對傳統(tǒng)的超鏈接算法進行了改進,提出了一種基于向量空間模型的超鏈接算法.該算法一方面通過分析網(wǎng)頁之間的鏈接關(guān)系得到每篇網(wǎng)頁的入度值和出度值,同時另一方面又通過錨文本和超鏈接上下文等標記文本信息的匹配從而更加客觀和準確地作出相關(guān)性判斷,具有更好的性能. (4)針對目前爬蟲效率不高的狀況,以主題相關(guān)度和高效的爬行策略為核心提出了一套

6、主題爬蟲的設(shè)計方案,并充分說明了設(shè)計方案的可行性,然后對實現(xiàn)進行了詳細分析和論證.實驗結(jié)果表明雖然主題爬蟲比普通爬蟲耗時,但它也帶來了正面效應(yīng),使爬行的工作量得到了一定程度的減少,頁面一旦進入拋棄隊列將不再被處理,而普通爬蟲只會沒有選擇的對所有頁面進行處理,而且主題爬蟲在搜索的準確性和精確性上都比普通爬蟲要好. 主題 Web 挖掘能實現(xiàn)更高的查全率和查準率,能滿足一些高級或?qū)I(yè)性信息的檢索要求,目前主題爬蟲技術(shù)已成為一個將采集技