互聯(lián)網(wǎng)信息采集系統(tǒng)的分析與設計.pdf

1、隨著Internet的迅速發(fā)展，網(wǎng)上信息以爆炸性的速度不斷豐富和擴展。如何在成千上萬的網(wǎng)站中快速有效地獲取所需信息，是Internet發(fā)展過程中的一個重要問題，而搜索引擎正是為解決用戶的查詢問題而出現(xiàn)的一種有效工具。通過搜索引擎，用戶可以穿梭于放置在不同地點、隸屬于不同網(wǎng)絡的WWW網(wǎng)頁中，獲取所需要的各種信息。而在整個搜索引擎系統(tǒng)中，網(wǎng)絡爬蟲起著至關重要的作用，它是Internet搜索引擎的數(shù)據(jù)來源，決定著整個系統(tǒng)的內容是否豐富、完整，

2、信息是否能夠得到及時更新。 本文從搜索引擎種類和組成出發(fā)，對搜索引擎的內部運行機制進行了分析研究，并對現(xiàn)在一般的網(wǎng)絡爬蟲的運行過程給予了整體性的介紹，對網(wǎng)絡爬蟲的搜索策略和所面臨的主要技術問題進行了簡要的分析。研究了開源的搜索引擎-Nutch的工作原理，并設計了一個主題爬蟲。主題爬蟲的目標是有選擇地查找與預定主題相關的網(wǎng)頁，而不象通用搜索引擎一樣，搜集和索引所有可訪問的網(wǎng)頁，這樣可以避免訪問其他不相關的網(wǎng)頁，同時也有助于節(jié)省硬件