基于P2P-云平臺的作業(yè)管理機制的研究.pdf

1、云計算的概念自提出以來，即在全世界范圍內(nèi)得到了廣泛應(yīng)用。云計算憑借其高度并行性、虛擬化等特點大幅簡化了程序員的工作，提高了作業(yè)執(zhí)行速率。MapReduce作為云計算中的核心編程模型，為程序員自動完成了容錯、死鎖等至今仍無通用解決方案的問題。如今，越來越多的企業(yè)都已經(jīng)將自己的業(yè)務(wù)部署到了云計算平臺中。然而，傳統(tǒng)云計算平臺中的MapReduce編程模型是基于集中式的C/S框架，模型中由一個控制節(jié)點管理多個工作節(jié)點，且用戶提交的作業(yè)全部都由唯

2、一的控制節(jié)點進行分配管理，控制節(jié)點一旦失效，就會造成無法挽回的后果。不但如此，單一控制節(jié)點負載有限，隨著集群規(guī)模的不斷增大，其勢必會成為整個系統(tǒng)的瓶頸，嚴(yán)重限制了集群的擴展。
　　因此，為了解決傳統(tǒng)云計算平臺中單控制節(jié)點失效和集群擴展性不足兩大問題，本文提出了基于P2P-云平臺的作業(yè)管理機制。該機制首先對傳統(tǒng)云計算平臺中基于單控制節(jié)點的主從結(jié)構(gòu)進行改進，提出基于 Chord協(xié)議的多控制節(jié)點協(xié)同控制多工作節(jié)點的體系結(jié)構(gòu)ChordMR

3、。其次，針對控制節(jié)點失效所帶來的作業(yè)丟失問題，提出作業(yè)動態(tài)管理機制，該機制從作業(yè)分配、作業(yè)備份、作業(yè)恢復(fù)以及控制節(jié)點加入時的作業(yè)遷移等各方面對云作業(yè)進行有效管理，以加快云作業(yè)執(zhí)行速率、提高云作業(yè)執(zhí)行成功率。通過仿真實驗，驗證了該作業(yè)管理機制在可行性和有效性等方面的優(yōu)勢。最后，本文編程實現(xiàn)了基于 P2P-云平臺的MapReduce作業(yè)處理框架。理論分析和實驗結(jié)果表明，傳統(tǒng)云平臺與P2P技術(shù)的有效結(jié)合不但解決了傳統(tǒng)云平臺中存在的單點失效問題