畢業(yè)論文（設(shè)計）基于主題的web信息采集技術(shù)研究

1、基于主題的基于主題的Web信息采集技術(shù)研究信息采集技術(shù)研究目錄第一章引言……………………………………………………………………………….11.1背景...11.2本文安排...2第二章Web信息采集概述………………………………………………………………42.1Web信息采集系統(tǒng)的基本原理...42.2Web信息采集系統(tǒng)的基本結(jié)構(gòu)...42.3Web信息采集面臨的主要困難和相應(yīng)的技術(shù)手段:62.4采集系統(tǒng)實例...8第三章Web信息采集的研究

2、現(xiàn)狀………………………………………………….....113.1基于整個Web的信息采集...113.2增量式Web信息采集:123.3基于主題的Web信息采集:123.4基于用戶個性化的Web信息采集...133.5基于Agent的信息采集...143.6遷移的信息采集...153.7基于元搜索的信息采集:153.8小結(jié)...15第四章基于主題的Web信息采集基本問題研究…………………………………...174.1基于主題的Web信息采集

3、的定義...174.2基于主題的Web信息采集的優(yōu)點...174.3基于主題的Web信息采集的分類...184.4主題頁面在Web上的分布特征...194.5相關(guān)性判別算法研究...21第五章基于主題的Web信息采集系統(tǒng)模型及我們的對策………………………...375.1系統(tǒng)模型...375.2模型中的關(guān)鍵問題及我們的策略...37第一章引言1.1背景背景隨著InterIntra的迅速發(fā)展，網(wǎng)絡(luò)正深刻地改變著我們的生活。而在網(wǎng)上發(fā)展最為迅

4、猛的WWW（WldWideWeb）技術(shù)，以其直觀、方便的使用方式和豐富的表達能力，已逐漸成為Inter上最重要的信息發(fā)布和傳輸方式。隨著信息時代的到來和發(fā)展，Web上的信息如雨后春筍般迅速增長起來。截止到2000年7月，Inter上的網(wǎng)頁數(shù)量就已經(jīng)超過21億，上網(wǎng)用戶超過3億，而且網(wǎng)頁還在以每天700萬的速度增加[徐澤平2001]。這給人們的生活提供了豐富的資源。然而，Web信息的急速膨脹，在給人們提供豐富信息的同時，又使人們在對它們的

5、有效使用方面面臨一個巨大的挑戰(zhàn)。一方面網(wǎng)上的信息多種多樣、豐富多彩，而另一方面用戶卻找不到他們所需要的信息。因而基于WWW的網(wǎng)上信息的采集、發(fā)布和相關(guān)的信息處理日益成為人們關(guān)注的焦點。為此，人們發(fā)展了以Web搜索引擎為主的檢索服務(wù)。為了解決網(wǎng)上信息檢索的難題，人們在信息檢索領(lǐng)域進行了大量的研究，開發(fā)了各種搜索引擎(如Google、Yahoo)。這些搜索引擎通常使用一個或多個采集器從Inter上收集各種數(shù)據(jù)(如WWW、FTP、Email、

6、News)，然后在本地服務(wù)器上為這些數(shù)據(jù)建立索引，當(dāng)用戶檢索時根據(jù)用戶提交的檢索條件從索引庫中迅速查找到所需的信息[Bowman1994]。作為這些搜索引擎的基礎(chǔ)和組成部分，Web信息采集正發(fā)揮著舉足輕重的作用，并且隨著應(yīng)用的深化和技術(shù)的發(fā)展，它也越來越多的應(yīng)用于站點結(jié)構(gòu)分析、頁面有效性分析、Web圖進化、內(nèi)容安全檢測、用戶興趣挖掘以及個性化信息獲取等多種服務(wù)和研究中。簡單說，Web信息采集是指通過Web頁面之間的鏈接關(guān)系，從Web上自

7、動地獲取頁面信息并且隨著鏈接不斷向所需要的Web頁面擴展的過程。傳統(tǒng)的Web信息采集的目標(biāo)就是盡可能多地采集信息頁面，甚至是整個Web上的資源，而在這一過程中它并不太在意采集的順序和被采集頁面的相關(guān)主題。這樣做的一個極大好處是能夠集中精力在采集的速度和數(shù)量上，并且實現(xiàn)起來也相對簡單，例如Google采集系統(tǒng)在并行4個采集器時的速度可以達到每秒100頁，從而它配合搜索引擎給網(wǎng)絡(luò)用戶帶來了很大的便利。但是，這種傳統(tǒng)的采集方法也存在著很多缺陷