企業(yè)級MapReduce系統(tǒng)失效恢復機制的設計與實現(xiàn).pdf

1、Google在2004年提出了云計算關鍵技術之一的MapReduce編程模型,該編程模型也用來處理集群中的海量數(shù)據(jù)集。在Google將這一核心技術以論文的形式公布的兩年后,就有了對這一技術的開源實現(xiàn)——Hadoop。目前來說,無論是Google內部的MapReduce引擎還是開源的Hadoop,都是架構在以普通個人計算機為基礎的計算機集群上。雖然在成本和擴展性上普通個人計算機較之超級計算機有無可比擬的優(yōu)勢,但其穩(wěn)定性、可用性卻不能滿足目

2、前企業(yè)生產需要。
　　本論文基于PlatformComputing公司于2011年7月發(fā)布的企業(yè)級大數(shù)據(jù)處理工作引擎PlatformMapReduce,研究如何在原有的系統(tǒng)架構基礎上實現(xiàn)系統(tǒng)失效恢復機制。要實現(xiàn)失效恢復,本文首先提出了使用候選結點列表的辦法解決單點失效問題。即用新的Master結點讀取狀態(tài)的快照及事件日志信息,恢復系統(tǒng)運行來解決單點失效。其次針對在企業(yè)環(huán)境中需要系統(tǒng)能夠滿足7*24小時運行要求,本論文通過日志等方法

3、來解決。即將作業(yè)狀態(tài)信息與用戶數(shù)據(jù)均存儲在共享文件系統(tǒng)中。當某個作業(yè)因為系統(tǒng)原因失效,系統(tǒng)能夠通過日志重構出該作業(yè),并重新執(zhí)行。再次,整個失效恢復機制需要對用戶透明,即當失效發(fā)生時,系統(tǒng)能夠自動地恢復運行,而非依靠人工幫助。這個問題的解決,需要依賴系統(tǒng)原有設計中的底層通信庫。當失效發(fā)生時,底層通信庫能夠通過心跳等機制發(fā)現(xiàn)并且通知上層,引發(fā)上層自動執(zhí)行失效恢復機制。最后,由于MapReduce引擎處理的數(shù)據(jù)是超大數(shù)據(jù)集,影響了失效恢復的效