基于P2P-云平臺的作業(yè)管理機(jī)制的研究.pdf

1、云計(jì)算的概念自提出以來，即在全世界范圍內(nèi)得到了廣泛應(yīng)用。云計(jì)算憑借其高度并行性、虛擬化等特點(diǎn)大幅簡化了程序員的工作，提高了作業(yè)執(zhí)行速率。MapReduce作為云計(jì)算中的核心編程模型，為程序員自動(dòng)完成了容錯(cuò)、死鎖等至今仍無通用解決方案的問題。如今，越來越多的企業(yè)都已經(jīng)將自己的業(yè)務(wù)部署到了云計(jì)算平臺中。然而，傳統(tǒng)云計(jì)算平臺中的MapReduce編程模型是基于集中式的C/S框架，模型中由一個(gè)控制節(jié)點(diǎn)管理多個(gè)工作節(jié)點(diǎn)，且用戶提交的作業(yè)全部都由唯

2、一的控制節(jié)點(diǎn)進(jìn)行分配管理，控制節(jié)點(diǎn)一旦失效，就會造成無法挽回的后果。不但如此，單一控制節(jié)點(diǎn)負(fù)載有限，隨著集群規(guī)模的不斷增大，其勢必會成為整個(gè)系統(tǒng)的瓶頸，嚴(yán)重限制了集群的擴(kuò)展。
　　因此，為了解決傳統(tǒng)云計(jì)算平臺中單控制節(jié)點(diǎn)失效和集群擴(kuò)展性不足兩大問題，本文提出了基于P2P-云平臺的作業(yè)管理機(jī)制。該機(jī)制首先對傳統(tǒng)云計(jì)算平臺中基于單控制節(jié)點(diǎn)的主從結(jié)構(gòu)進(jìn)行改進(jìn)，提出基于 Chord協(xié)議的多控制節(jié)點(diǎn)協(xié)同控制多工作節(jié)點(diǎn)的體系結(jié)構(gòu)ChordMR

3、。其次，針對控制節(jié)點(diǎn)失效所帶來的作業(yè)丟失問題，提出作業(yè)動(dòng)態(tài)管理機(jī)制，該機(jī)制從作業(yè)分配、作業(yè)備份、作業(yè)恢復(fù)以及控制節(jié)點(diǎn)加入時(shí)的作業(yè)遷移等各方面對云作業(yè)進(jìn)行有效管理，以加快云作業(yè)執(zhí)行速率、提高云作業(yè)執(zhí)行成功率。通過仿真實(shí)驗(yàn)，驗(yàn)證了該作業(yè)管理機(jī)制在可行性和有效性等方面的優(yōu)勢。最后，本文編程實(shí)現(xiàn)了基于 P2P-云平臺的MapReduce作業(yè)處理框架。理論分析和實(shí)驗(yàn)結(jié)果表明，傳統(tǒng)云平臺與P2P技術(shù)的有效結(jié)合不但解決了傳統(tǒng)云平臺中存在的單點(diǎn)失效問題