云計(jì)算中的網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)和Hadoop平臺(tái)研究.pdf

1、云計(jì)算是2007年底正式提出的一個(gè)新的概念，它可以說(shuō)是一個(gè)革命性的創(chuàng)新，意味著計(jì)算能力也可以作為一種商品進(jìn)行流通，就像煤氣、水電一樣，取用方便，費(fèi)用低廉，不同之處只是在于它是使用互聯(lián)網(wǎng)進(jìn)行傳輸?shù)?。至今為止，Google、Microsoft、IBM、亞馬遜等IT商業(yè)巨頭都推出了自己的云計(jì)算平臺(tái)，并把云計(jì)算作為其未來(lái)發(fā)展的最主要戰(zhàn)略之一。因此，云計(jì)算的研究不但緊跟業(yè)界技術(shù)發(fā)展的趨勢(shì)，同時(shí)還具有較高的應(yīng)用價(jià)值。 在云計(jì)算系統(tǒng)的后端，有

2、成千上萬(wàn)的服務(wù)器，如何有效組織如此大量的服務(wù)器是云計(jì)算系統(tǒng)高效穩(wěn)定運(yùn)行關(guān)鍵問(wèn)題之一。一個(gè)合理的網(wǎng)絡(luò)拓?fù)洳坏梢蕴岣呔W(wǎng)絡(luò)的性能，而且能夠保證網(wǎng)絡(luò)的穩(wěn)定性，使網(wǎng)絡(luò)在部分節(jié)點(diǎn)或鏈路故障或擁擠時(shí)也能正常工作。云計(jì)算系統(tǒng)后端的網(wǎng)絡(luò)拓?fù)涮匦杂袆e于一般的網(wǎng)絡(luò)拓?fù)洌枰覀冎匦驴紤]和研究。 Hadoop是一個(gè)在集群上運(yùn)行大型數(shù)據(jù)庫(kù)處理應(yīng)用程序的開(kāi)放式源代碼框架。它支持通過(guò)Google的MapReduce編程范例來(lái)創(chuàng)建并執(zhí)行的應(yīng)用程序，在很多大

3、型網(wǎng)站上都已經(jīng)得到了應(yīng)用，可以說(shuō)是目前最為廣泛應(yīng)用的開(kāi)源云計(jì)算軟件平臺(tái)，但其發(fā)展時(shí)間較短，研究還不夠深入，還有較多值得改進(jìn)的地方。 本文主要研究工作和貢獻(xiàn)如下： 1.通過(guò)調(diào)研云計(jì)算的網(wǎng)絡(luò)需求，分析云計(jì)算的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)特點(diǎn)，提出云計(jì)算網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)應(yīng)該由中心的主干交換部分和外圍的樹(shù)狀子網(wǎng)組成的基本構(gòu)想；利用圖論和最優(yōu)化理論，基于貪心算法思想，針對(duì)其主干交換網(wǎng)絡(luò)的拓?fù)湓O(shè)計(jì)，提出了自動(dòng)拓?fù)湓O(shè)計(jì)算法RGA并仿真實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明，

4、與已有算法比較，所提出算法更為有效。 2.通過(guò)調(diào)研Hadoop的相關(guān)資料，在實(shí)驗(yàn)室搭建配置了8臺(tái)PC組成的Hadoop平臺(tái)；對(duì)Hadoop的MapReduce工作模式進(jìn)行分析，針對(duì)它的多任務(wù)調(diào)度，提出了基于優(yōu)先級(jí)的加權(quán)輪詢(xún)算法(PBWRR)，并在Hadoop平臺(tái)上編程實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明，與Hadoop平臺(tái)默認(rèn)使用的FIFO調(diào)度算法相比，所提出的算法--PBWRR的性能更加優(yōu)越。 最后我們對(duì)論文工作進(jìn)行了總結(jié)，并討論了對(duì)進(jìn)