面向大數(shù)據(jù)集的社區(qū)發(fā)現(xiàn)算法研究.pdf

1、社區(qū)發(fā)現(xiàn)，是指在社會(huì)網(wǎng)絡(luò)中發(fā)現(xiàn)有用社區(qū)結(jié)構(gòu)的過(guò)程。隨著科技的發(fā)展，社會(huì)網(wǎng)絡(luò)以多種形式影響著現(xiàn)實(shí)世界中各個(gè)領(lǐng)域的方方面面，如朋友關(guān)系網(wǎng)絡(luò)、科學(xué)家文獻(xiàn)引用網(wǎng)絡(luò)以及信息通訊網(wǎng)絡(luò)等等。作為社會(huì)網(wǎng)絡(luò)的一個(gè)重要屬性，社區(qū)結(jié)構(gòu)的相關(guān)研究吸引了越來(lái)越多的來(lái)自社會(huì)學(xué)、生物信息學(xué)、計(jì)算機(jī)學(xué)等領(lǐng)域?qū)＜液蛯W(xué)者的密切關(guān)注。到目前為止已經(jīng)涌現(xiàn)出了GN、K-L、譜平分法等為代表的多種在社區(qū)發(fā)現(xiàn)的算法，其中的一些算法甚至已經(jīng)在現(xiàn)實(shí)中得到了應(yīng)用。
　　本文對(duì)社區(qū)發(fā)

2、現(xiàn)算法，特別是在大數(shù)據(jù)集下社會(huì)網(wǎng)絡(luò)中的社區(qū)發(fā)現(xiàn)方面做了許多改進(jìn)。主要體現(xiàn)在如下三個(gè)方面:
　　第一，提出了一種使用PageRank值和結(jié)點(diǎn)度評(píng)估關(guān)鍵點(diǎn)的算法。首先提出在社會(huì)網(wǎng)絡(luò)中，使用PageRank算法評(píng)估結(jié)點(diǎn)本身的重要性，然后結(jié)合Map-Reduce和空間壓縮思想對(duì)PageRank改進(jìn)，使其能夠適應(yīng)處理大數(shù)據(jù)集的情況。這樣做即保證了算法的有效性，又可在較低的時(shí)間復(fù)雜度下完成任務(wù)。
　　第二，提出了一種改進(jìn)的層次聚類(lèi)算法，

3、對(duì)社區(qū)網(wǎng)絡(luò)關(guān)鍵點(diǎn)進(jìn)行聚類(lèi)。首先利用結(jié)點(diǎn)的連接作為其屬性，將網(wǎng)絡(luò)映射到n維空間中，并將結(jié)點(diǎn)間的相似性度量轉(zhuǎn)換成經(jīng)典的距離定義來(lái)計(jì)算。然后對(duì)模塊度的計(jì)算進(jìn)行改進(jìn)，計(jì)算兩個(gè)相近過(guò)程之間的模塊度增益更能適應(yīng)擁有小社區(qū)和離群點(diǎn)特征的關(guān)鍵點(diǎn)聚類(lèi)。最后，利用改進(jìn)的凝聚策略進(jìn)行聚類(lèi)，在實(shí)驗(yàn)中獲得了較高準(zhǔn)確性。
　　第三，在上述兩個(gè)算法的基礎(chǔ)之上，提出了一種改進(jìn)的基于k-均值的社區(qū)發(fā)現(xiàn)算法。對(duì)于使用上述兩種算法獲得的初始簇，使用壓縮技術(shù)和類(lèi)B+樹(shù)格