一種基于P2P技術(shù)的分布式微博爬蟲(chóng)系統(tǒng).pdf

1、在互聯(lián)網(wǎng)技術(shù)飛速發(fā)展的今天，微博已經(jīng)成為一種傳播公共信息的重要媒體。通過(guò)微博近乎實(shí)時(shí)的信息傳播渠道，相關(guān)部門(mén)可以利用微博來(lái)監(jiān)測(cè)輿情，針對(duì)突發(fā)事件快速做出應(yīng)對(duì)。因此高效、準(zhǔn)確地獲取微博數(shù)據(jù)以供研究分析至關(guān)重要。傳統(tǒng)網(wǎng)頁(yè)爬蟲(chóng)技術(shù)無(wú)法獲得完整的微博信息，而微博API平臺(tái)有一定的功能制約，對(duì)連接次數(shù)也有限制，無(wú)法獲取海量的微博數(shù)據(jù)資源。
　　針對(duì)以上問(wèn)題，本文設(shè)計(jì)一種基于Chord協(xié)議的分布式網(wǎng)絡(luò)爬蟲(chóng)模型Chord-Crawler，并通過(guò)

2、一定的修改操作，將模型實(shí)際應(yīng)用到分布式微博爬蟲(chóng)系統(tǒng)中，系統(tǒng)能夠高效、準(zhǔn)確、連續(xù)的獲取海量微博數(shù)據(jù)。爬蟲(chóng)程序通過(guò)模擬登錄技術(shù)結(jié)合傳統(tǒng)的網(wǎng)絡(luò)爬蟲(chóng)程序?qū)崿F(xiàn)了完整的微博數(shù)據(jù)爬取，并使用位圖法對(duì)數(shù)據(jù)進(jìn)行去重處理。系統(tǒng)在Chord協(xié)議的基礎(chǔ)上，利用一致性哈希函數(shù)配合微博用戶(hù)的省份位置信息作為任務(wù)分配的策略，通過(guò)不斷更新節(jié)點(diǎn)的省份-節(jié)點(diǎn)匹配表，減少任務(wù)的轉(zhuǎn)發(fā)消耗。系統(tǒng)通過(guò)本文提出的動(dòng)態(tài)插入均衡算法平衡網(wǎng)絡(luò)中各節(jié)點(diǎn)的負(fù)載，提高系統(tǒng)的整體效率。最后本文通