一種基于P2P技術(shù)的分布式微博爬蟲系統(tǒng).pdf

1、在互聯(lián)網(wǎng)技術(shù)飛速發(fā)展的今天，微博已經(jīng)成為一種傳播公共信息的重要媒體。通過微博近乎實時的信息傳播渠道，相關(guān)部門可以利用微博來監(jiān)測輿情，針對突發(fā)事件快速做出應(yīng)對。因此高效、準確地獲取微博數(shù)據(jù)以供研究分析至關(guān)重要。傳統(tǒng)網(wǎng)頁爬蟲技術(shù)無法獲得完整的微博信息，而微博API平臺有一定的功能制約，對連接次數(shù)也有限制，無法獲取海量的微博數(shù)據(jù)資源。
　　針對以上問題，本文設(shè)計一種基于Chord協(xié)議的分布式網(wǎng)絡(luò)爬蟲模型Chord-Crawler，并通過

2、一定的修改操作，將模型實際應(yīng)用到分布式微博爬蟲系統(tǒng)中，系統(tǒng)能夠高效、準確、連續(xù)的獲取海量微博數(shù)據(jù)。爬蟲程序通過模擬登錄技術(shù)結(jié)合傳統(tǒng)的網(wǎng)絡(luò)爬蟲程序?qū)崿F(xiàn)了完整的微博數(shù)據(jù)爬取，并使用位圖法對數(shù)據(jù)進行去重處理。系統(tǒng)在Chord協(xié)議的基礎(chǔ)上，利用一致性哈希函數(shù)配合微博用戶的省份位置信息作為任務(wù)分配的策略，通過不斷更新節(jié)點的省份-節(jié)點匹配表，減少任務(wù)的轉(zhuǎn)發(fā)消耗。系統(tǒng)通過本文提出的動態(tài)插入均衡算法平衡網(wǎng)絡(luò)中各節(jié)點的負載，提高系統(tǒng)的整體效率。最后本文通