基于關(guān)鍵詞的微博爬蟲系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著社交網(wǎng)絡(luò)媒體的興起，其中微博已然成為了大眾關(guān)注熱點(diǎn)話題的工具之一。在微博當(dāng)中，人人都可以發(fā)出自己的聲音，也可以聽到別人不同的聲音，因此形成了巨大的信息量、信息碎片化的特點(diǎn)。這個爬蟲系統(tǒng)是為了能夠更好地服務(wù)大眾，使得個人、公司、企業(yè)都能及時地發(fā)覺到自己關(guān)注的話題，然后做出及時的反饋，避免一些不必要的損失。
　　本文設(shè)計的爬蟲針對于微博，主要對需求相關(guān)關(guān)鍵詞展開搜索，在此搜索結(jié)果中，進(jìn)行廣度優(yōu)先的爬取策略，此爬蟲系統(tǒng)能解決傳統(tǒng)爬蟲

2、無法解決的垂直爬取、動態(tài)頁面和自動化登陸問題。
　　本文針對了微博的問題，從而設(shè)計并且實現(xiàn)了一種面向微博的數(shù)據(jù)爬取與解析系統(tǒng)。主要工作是主要利用提供的關(guān)鍵詞，對微博中已經(jīng)發(fā)布的微博條目進(jìn)行爬取，并抽取出博主信息、微博內(nèi)容、粉絲數(shù)目、評論數(shù)目等等數(shù)據(jù)，存入數(shù)據(jù)庫中。主要工作有：
　　1、模擬登陸，本系統(tǒng)能夠通過訪問微博登陸頁，而不是微博的首頁，登陸信息是通過Base64加密后發(fā)送給服務(wù)器，獲取cookie后，能夠?qū)崿F(xiàn)自動登陸。

3、
　　2、信息的收集和過濾，本系統(tǒng)采用基于關(guān)鍵詞的網(wǎng)絡(luò)爬蟲訪問微博進(jìn)行信息的收集，獲取微博網(wǎng)站的主要頁面，在頁面上獲取內(nèi)容，已經(jīng)被系統(tǒng)爬取的網(wǎng)頁會被過濾。
　　3、關(guān)鍵內(nèi)容抽取，本系統(tǒng)主要采用基于 JSoup框架和 XPath相結(jié)合的方法對基于HTML結(jié)構(gòu)頁面進(jìn)行解析，針對爬取模塊下載得到的微博網(wǎng)頁抽取關(guān)鍵信息。
　　4、數(shù)據(jù)更新和存儲，采用固定的爬取周期對微博源網(wǎng)頁信息進(jìn)行持續(xù)更新；采用MySQL對爬蟲系統(tǒng)抽取的信息