基于高實時分布式網(wǎng)絡(luò)的爬蟲軟件設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)，尤其是移動互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)數(shù)字信息幾何級的規(guī)模增長，如何有效的提取這些信息，使數(shù)據(jù)分析更為方便，是網(wǎng)絡(luò)爬蟲研究的主要內(nèi)容。隨著分布式系統(tǒng)的興起，包括分布式計算與分布式存儲，這些技術(shù)框架的廣泛應(yīng)用使人們看到分布式系統(tǒng)在面對大規(guī)模數(shù)據(jù)的處理問題上的優(yōu)勢。
　　本文實現(xiàn)了一種高實時分布式的網(wǎng)絡(luò)爬蟲軟件，并以新浪微博為例實現(xiàn)了對微博用戶信息以及博文的爬取，根據(jù)實際需要實現(xiàn)了分布式系統(tǒng)框架，包括節(jié)點通信與負載分配問題。本文的主

2、要工作內(nèi)容如下:
　　1)分析國內(nèi)外爬蟲軟件與分布式系統(tǒng)的研究現(xiàn)狀，介紹典型技術(shù)框架的原理以及應(yīng)用情況。
　　2)在分布式系統(tǒng)方面，本文提出了應(yīng)用RDMA技術(shù)實現(xiàn)節(jié)點之間的內(nèi)核旁路低延遲傳輸技術(shù)，保證了爬蟲軟件的運行效率以及實時性。為了保證負載均衡與系統(tǒng)的健壯性，本文提出了一種簡單但有效的負載分配方案。
　　3)針對微博頁面制訂了爬蟲策略，應(yīng)用Scrapy框架實現(xiàn)了爬蟲模塊，運用數(shù)據(jù)庫服務(wù)器做為節(jié)點之間的樞紐，并根據(jù)實