基于云平臺網絡爬蟲的互聯網信息采集系統研究.pdf

1、伴隨著當今信息量日益劇增的趨勢，一系列技術都迅速的涌現，云計算就是其中一個，而且已經成為目前的一個主流研究方向，成為未來一個重要的發(fā)展趨勢。在這個大環(huán)境下很多大型公司也都加入了云計算的研究開發(fā)中，如: Google、IBM和Amazon等，應用的領域也越來越廣泛。為了便于學習和研究，實驗室也對云計算制定了研究計劃，搭建自己的“云平臺”，來對不同的應用開發(fā)進行研究和實驗。該“云平臺”主要是建立在Hadoop基礎上，Hadoop是Apach

2、e開發(fā)的開源的云計算框架，方便而成熟，本文中就是利用Hadoop進行云平臺的搭建。
　　本文的主要研究工作是設計一款面向新聞類網頁的，基于云平臺網絡爬蟲的互聯網信息采集系統。該系統是在Hadoop分布式平臺的基礎上實現的，主要部分為信息采集模塊和信息抽取模塊。在信息采集部分設計并實現了一個基于云平臺的網絡爬蟲，在該爬蟲的內部對其子模塊進行MapReduce設計;在信息抽取部分采用的是較易理解的基于HTML結構解析的信息抽取方式實現

3、。在本文的設計過程中包含幾大主要技術:云計算、Hadoop平臺、網絡爬蟲以及網頁信息抽取。本文按照設計順序對以上技術進行了介紹。云計算部分主要介紹其背景、當前主流云平臺、自身特點等。對于Hadoop平臺主要是對其兩個核心——HDFS和Map/Reduce內容進行研究。對已經比較成熟的網絡爬蟲技術以及信息抽取技術的核心理論也進行了簡要說明。
　　本文的意義在于理論結合實際，將云計算理論應用于實際的項目開發(fā)中，實現了一個基于云平臺網絡