基于志愿計(jì)算的大規(guī)模網(wǎng)絡(luò)分布式分析架構(gòu)研究.pdf

1、近些年來，隨著復(fù)雜網(wǎng)絡(luò)科學(xué)的不斷發(fā)展，學(xué)術(shù)界對于復(fù)雜網(wǎng)絡(luò)的研究逐漸深入，因?yàn)閺?fù)雜網(wǎng)絡(luò)的研究對很多領(lǐng)域的研究都具有指導(dǎo)意義，像其在社會學(xué)中展現(xiàn)出的價值或者對于傳播學(xué)的研究意義，其應(yīng)用也越來越廣泛。但是隨著社會進(jìn)步以及科技發(fā)展，網(wǎng)絡(luò)規(guī)模呈現(xiàn)出指數(shù)型增長，數(shù)據(jù)規(guī)模更加龐大，同時也面臨著數(shù)據(jù)處理緩慢甚至計(jì)算不出的問題，如何更快更高效的處理這些數(shù)據(jù)成為了近期復(fù)雜網(wǎng)絡(luò)研究的重大挑戰(zhàn)之一。
　　并行計(jì)算技術(shù)為復(fù)雜網(wǎng)絡(luò)的高效計(jì)算提供了可能。當(dāng)前的

2、一些主流計(jì)算框架由于具有一定的限制，比如MapReduce在迭代次數(shù)多的情況下并沒有展現(xiàn)出很好的優(yōu)勢，而復(fù)雜網(wǎng)絡(luò)的計(jì)算的特點(diǎn)之一就是具有較多的迭代次數(shù)，因此在復(fù)雜網(wǎng)絡(luò)的計(jì)算方面并沒有顯示出很好的優(yōu)勢。志愿計(jì)算的核心思想就是將存在于網(wǎng)絡(luò)中的空閑資源利用，共同參與分布式計(jì)算。
　　本文基于志愿計(jì)算的思想，以ICE中間件作為通信媒介，構(gòu)建了針對于大規(guī)模復(fù)雜網(wǎng)絡(luò)計(jì)算的松耦合分布式計(jì)算框架，用于對復(fù)雜網(wǎng)絡(luò)的分析和計(jì)算，并將其命名為DCBV框

3、架。框架主要采用了任務(wù)隊(duì)列的思想和方法，在Master/Worker模式的基礎(chǔ)上進(jìn)行設(shè)計(jì)，增加中間層MiddleWare，將網(wǎng)絡(luò)內(nèi)的多臺空閑機(jī)器動態(tài)的結(jié)合起來共同參與復(fù)雜網(wǎng)絡(luò)的分析和計(jì)算。除此之外，基于對平均最短路徑算法的改進(jìn)，對設(shè)計(jì)的DCBV計(jì)算框架的原型實(shí)現(xiàn)進(jìn)行了實(shí)驗(yàn)和評估。
　　實(shí)驗(yàn)結(jié)果表明，本文設(shè)計(jì)的框架可以更加高效的計(jì)算出復(fù)雜網(wǎng)絡(luò)的相關(guān)參數(shù)，并且有很好的容錯性，可以隨時調(diào)整計(jì)算節(jié)點(diǎn)的個數(shù)，同時可以隨時動態(tài)調(diào)整每個計(jì)算節(jié)點(diǎn)