實(shí)時(shí)流計(jì)算框架的消息可靠處理保障機(jī)制研究.pdf

1、隨著大數(shù)據(jù)環(huán)境下實(shí)時(shí)數(shù)據(jù)流式計(jì)算的需求和規(guī)模的不斷增長(zhǎng)，實(shí)時(shí)流計(jì)算領(lǐng)域的研究變得越發(fā)重要。流計(jì)算應(yīng)用中蘊(yùn)含在數(shù)據(jù)中的價(jià)值隨著時(shí)間的流逝逐漸降低，因此處理過(guò)程中需保證非常低的處理時(shí)延。不確定性的處理延遲和對(duì)計(jì)算節(jié)點(diǎn)的松散控制增大了錯(cuò)誤產(chǎn)生的概率，如何在流計(jì)算框架實(shí)時(shí)輸出處理結(jié)果的同時(shí)保障容錯(cuò)能力是一個(gè)關(guān)鍵性問(wèn)題?，F(xiàn)有的容錯(cuò)方案或基于讀寫(xiě)磁盤(pán)的檢查點(diǎn)技術(shù)，資源消耗大且處理時(shí)延高；或基于雙機(jī)熱備技術(shù)，需要昂貴的成本。Storm是現(xiàn)有極具研究?jī)r(jià)

2、值的開(kāi)源實(shí)時(shí)流計(jì)算框架，針對(duì)該問(wèn)題在Storm基礎(chǔ)上詳細(xì)設(shè)計(jì)并實(shí)現(xiàn)高效的容錯(cuò)功能。
　　研究的實(shí)時(shí)流計(jì)算框架消息可靠處理保障機(jī)制能夠在容錯(cuò)時(shí)滿足實(shí)時(shí)流計(jì)算處理低延時(shí)、數(shù)據(jù)流動(dòng)和內(nèi)存計(jì)算的特點(diǎn)。鑒于Storm保障系統(tǒng)高可用時(shí)存在的重復(fù)處理問(wèn)題，基于Storm的消息可靠處理保障系統(tǒng)（MPGS）設(shè)計(jì)了一種基于跟蹤元組處理過(guò)程、定位元組樹(shù)上消息失敗位置并從處理組件開(kāi)始恢復(fù)計(jì)算的容錯(cuò)機(jī)制。主要工作包括改進(jìn)守護(hù)進(jìn)程的消息確認(rèn)機(jī)制，跟蹤機(jī)制記錄

3、元組樹(shù)上元組的處理過(guò)程，實(shí)現(xiàn)消息處理失敗時(shí)對(duì)丟失元組及其處理組件的捕獲，使用內(nèi)存緩存區(qū)存儲(chǔ)元組樹(shù)跟蹤信息，消息恢復(fù)時(shí)緩存區(qū)作為數(shù)據(jù)源，從處理元組失敗的組件處開(kāi)始恢復(fù)計(jì)算。從而避免了Storm的消息源重發(fā)方式下，重復(fù)處理整個(gè)元組樹(shù)上數(shù)據(jù)，恢復(fù)代價(jià)高的問(wèn)題，同時(shí)在一定程度上解決了數(shù)據(jù)處理壓力從失敗組件轉(zhuǎn)移到發(fā)射組件潛在的背壓?jiǎn)栴}。大幅度提高了消息恢復(fù)的性能，保證了流處理的實(shí)時(shí)性。
　　相同實(shí)驗(yàn)環(huán)境下在MPGS和Storm上運(yùn)行測(cè)試用例