微博爬蟲的相關(guān)技術(shù)研究.pdf

1、社交媒體作為web2.0時(shí)代的標(biāo)志,提供了以用戶為中心的各種交流模式和途徑。用戶在社交媒體上發(fā)表和傳播消息,關(guān)注自己感興趣的人物。社交媒體中一般擁有數(shù)以億計(jì)的人物節(jié)點(diǎn),他們之間通過關(guān)注和粉絲關(guān)系連成了巨大的社會網(wǎng)絡(luò),消息通過這張巨大的社會網(wǎng)絡(luò)傳播。大部分社交媒體提供API以便獲取社交媒體數(shù)據(jù)進(jìn)行相關(guān)研究,但是由于API的相關(guān)限制造成數(shù)據(jù)獲取困難,直接造成研究無法進(jìn)行。所以對于社交媒體爬蟲的相關(guān)技術(shù)研究具有重大意義。
　　本文主要以

2、國內(nèi)微博媒體為研究對象,主要針對新浪微博,研究微博爬蟲的相關(guān)技術(shù)。本文研究的技術(shù)包括:爬行策略研究與實(shí)現(xiàn)、微博數(shù)據(jù)獲取研究與實(shí)現(xiàn)、微博數(shù)據(jù)去重設(shè)計(jì)等。本文工作如下:
　　首先分析微博爬蟲的主要問題。在該部分本文介紹了基于Hadoop的分布式框架技術(shù)、基于hbase的分布式數(shù)據(jù)存儲技術(shù)以及微博數(shù)據(jù)的獲取方式、去重策略和存儲策略,提出一種基于Hadoop的微博爬蟲框架,以UID和MID為主鍵的分布式No-SQL設(shè)計(jì)思路,獲取微博數(shù)據(jù)的

3、兩種主要方式的相關(guān)背景和主要流程,比較多種微博數(shù)據(jù)去重策略。
　　其次研究面向微博主題數(shù)據(jù)和個(gè)人數(shù)據(jù)獲取技術(shù)。在該部分重點(diǎn)介紹了基于新浪元搜索和主題相關(guān)詞的主題定位技術(shù)以及新浪微博的模擬登陸技術(shù),分析了主題爬蟲的爬取效率。
　　最后研究微博全網(wǎng)數(shù)據(jù)的網(wǎng)絡(luò)爬蟲。分析了人物爬蟲相關(guān)框架技術(shù)和多種人物爬蟲的爬行策略,實(shí)現(xiàn)廣度優(yōu)先爬取、深度優(yōu)先爬取和UID遍歷技術(shù)的相關(guān)爬行算法,對不同的爬取策略和不同種子人物節(jié)點(diǎn)對微博爬蟲效率的影響