基于分布式的譜聚類(lèi)算法在虛擬社區(qū)發(fā)現(xiàn)上的應(yīng)用研究.pdf

1、社交網(wǎng)絡(luò)中由于用戶(hù)年齡、職業(yè)、興趣等的不同會(huì)呈現(xiàn)出社區(qū)結(jié)構(gòu)特性，社區(qū)發(fā)現(xiàn)是社區(qū)結(jié)構(gòu)特性的研究基礎(chǔ)和核心。社區(qū)發(fā)現(xiàn)可以分析不同社群間用戶(hù)的關(guān)系、發(fā)現(xiàn)隱藏在社區(qū)內(nèi)部的規(guī)律、追蹤網(wǎng)絡(luò)中的熱點(diǎn)話題等，對(duì)好友推薦、精準(zhǔn)營(yíng)銷(xiāo)等都具有非常重要的作用。
　　目前有大量的社區(qū)發(fā)現(xiàn)方法，而譜聚類(lèi)方法是基于圖理論的社區(qū)發(fā)現(xiàn)算法，適用于社交網(wǎng)絡(luò)這種可以抽象成用戶(hù)關(guān)系圖的數(shù)據(jù)。傳統(tǒng)的譜聚類(lèi)算法因?yàn)闀r(shí)間復(fù)雜度高等原因大多應(yīng)用在節(jié)點(diǎn)規(guī)模比較小的網(wǎng)絡(luò)上，而社交網(wǎng)

2、絡(luò)則是具有海量用戶(hù)的網(wǎng)絡(luò)，這對(duì)傳統(tǒng)的譜聚類(lèi)算法提出了挑戰(zhàn)。本文主要研究?jī)?nèi)容就是將現(xiàn)在應(yīng)用非常廣泛的分布式大數(shù)據(jù)計(jì)算框架 Hadoop應(yīng)用到大規(guī)模社區(qū)發(fā)現(xiàn)中，針對(duì)社交網(wǎng)絡(luò)數(shù)據(jù)的特性，設(shè)計(jì)了合理的用戶(hù)相似度模型，彌補(bǔ)了傳統(tǒng)的譜聚類(lèi)算法無(wú)法確定聚類(lèi)個(gè)數(shù)、計(jì)算耗時(shí)長(zhǎng)等缺陷，使其在大規(guī)模社區(qū)發(fā)現(xiàn)問(wèn)題上的效率得以提高，以解決傳統(tǒng)譜聚類(lèi)算法只能適用于小規(guī)模社區(qū)發(fā)現(xiàn)等問(wèn)題。
　　本文針對(duì)譜聚類(lèi)算法無(wú)法確定社區(qū)個(gè)數(shù)的缺點(diǎn)，提出了在社區(qū)結(jié)構(gòu)明顯的場(chǎng)景

3、下應(yīng)用基于PageRank的社區(qū)數(shù)目發(fā)現(xiàn)算法，得益于PageRank算法良好的并行性，使其可以在大規(guī)模數(shù)據(jù)集中運(yùn)用并行計(jì)算來(lái)提高發(fā)現(xiàn)社區(qū)數(shù)目的效率；在社區(qū)結(jié)構(gòu)不明顯的網(wǎng)絡(luò)中，提出基于模塊度優(yōu)化的譜聚類(lèi)算法來(lái)發(fā)現(xiàn)社區(qū)數(shù)目。本文選用被公眾使用較多的微博社交網(wǎng)絡(luò)作為實(shí)驗(yàn)驗(yàn)證，微博中用戶(hù)有微博內(nèi)容、關(guān)注、粉絲、交互、個(gè)人信息等眾多的屬性。
　　本文綜合四類(lèi)用戶(hù)屬性信息，構(gòu)建了更加合理的用戶(hù)相似度模型。針對(duì)譜聚類(lèi)算法應(yīng)用于社交網(wǎng)絡(luò)這個(gè)特殊場(chǎng)