面向農業(yè)信息的主題爬蟲的研究與設計.pdf

1、隨著互聯網技術的發(fā)展，網絡信息資源的急劇增長，網民人數越來越多，網絡在人們的日常生活和工作的作用越來越大，因此人們越來越多地關注如何快速有效地從海量的網絡信息中，提取出潛在的、有價值的信息，使之有效地在工作和生活中發(fā)揮作用，所以專業(yè)領域主題Web信息的有效獲取成為各行業(yè)有效利用網絡信息資源的基礎。
　　 面向農業(yè)信息的主題爬蟲是專注于在海量的網絡信息中有效地識別與農業(yè)相關的Web信息資源，并進行獲取和及時更新的系統(tǒng)。它可以實現對

2、圖片下載，對爬取網頁的編碼進行統(tǒng)一，對抓取的與農業(yè)相關的資源進行過濾，識別出符合需求的內容網頁。
　　 本文首先對農業(yè)智能信息化業(yè)務平臺進行了初步的描述，重點介紹了在這一平臺上搭建的面向農業(yè)的主題爬蟲的特點。在介紹主題爬蟲時，本文對爬蟲的架構、原理、組成、工作流程做了闡述。特別是針對農業(yè)業(yè)務平臺對資源的特殊要求，介紹了爬蟲在采集信息時，做了怎樣的處理。
　　 本文重點開發(fā)了面向農業(yè)信息的主題爬蟲。從nutch開源搜索引擎