基于MapReduce模型的大規(guī)模社交網(wǎng)絡(luò)高效分析算法研究.pdf

1、自從Web2.0的興起,在線社交網(wǎng)絡(luò)吸引了許多國內(nèi)外研究者的興趣。這些社交網(wǎng)絡(luò)有許多獨特的結(jié)構(gòu)性質(zhì)如度的冪律分布、極短的網(wǎng)絡(luò)半徑和較明顯的社區(qū)聚集特性。這些結(jié)構(gòu)方面獨特的性質(zhì)直接或間接影響著網(wǎng)絡(luò)中的信息傳播以及人與人之間的交流互動,對于研究人類社會的組織架構(gòu)形式以及人際關(guān)系的演化方式有著極為重要的作用。目前主流的社交網(wǎng)絡(luò)的用戶數(shù)已達(dá)到上億規(guī)模,而用戶之間的關(guān)系則達(dá)到了幾十億甚至上百億的數(shù)量級。傳統(tǒng)的工具(如關(guān)系型數(shù)據(jù)庫)以及傳統(tǒng)的算法(

2、基于單CPU的串行算法)已無法勝任。
　　針對探索在線社交網(wǎng)絡(luò)結(jié)構(gòu)的問題,本文主要以新浪微博和Twitter為例,并參照對比了其他有向社交網(wǎng)絡(luò)的測量結(jié)果,全面探究了在線社交網(wǎng)絡(luò)的結(jié)構(gòu)特征,包括度的分布、關(guān)系的相互性、聚集性、度的相關(guān)性、路徑長度和社區(qū)等。其中,新浪微博的數(shù)據(jù)集是本文通過一個分布式爬蟲,經(jīng)過3個月的時間從其網(wǎng)站爬取的結(jié)果,包含了1.35億個用戶和104億條關(guān)系。
　　針對大規(guī)模在線社交網(wǎng)絡(luò)數(shù)據(jù)的處理問題,本文提