低開銷的無盤檢查點(diǎn)機(jī)制研究及應(yīng)用.pdf

1、無盤檢查點(diǎn)機(jī)制被提出用以解決基于穩(wěn)定存儲(chǔ)的檢查點(diǎn)機(jī)制引入的I/O瓶頸問題，同時(shí)達(dá)到在大規(guī)模系統(tǒng)中容忍少量計(jì)算節(jié)點(diǎn)同時(shí)發(fā)生故障的目的。其核心思想是將檢查點(diǎn)數(shù)據(jù)分散保存在所有節(jié)點(diǎn)的內(nèi)存中而不是一個(gè)穩(wěn)定存儲(chǔ)中以避免I/O瓶頸。同時(shí)為了保證內(nèi)存中檢查點(diǎn)數(shù)據(jù)的有效性，編碼技術(shù)被應(yīng)用。編碼技術(shù)使用所有檢查點(diǎn)數(shù)據(jù)編碼出多份編碼數(shù)據(jù)并保存到冗余節(jié)點(diǎn)的內(nèi)存中。當(dāng)故障發(fā)生時(shí)，雖然保存在故障節(jié)點(diǎn)上的檢查點(diǎn)數(shù)據(jù)會(huì)丟失，但是卻可以通過保存在冗余節(jié)點(diǎn)上的編碼數(shù)據(jù)以

2、及保存在未故障節(jié)點(diǎn)上的檢查點(diǎn)數(shù)據(jù)來恢復(fù)。
　　然而對(duì)于現(xiàn)有的編碼機(jī)制，編碼過程需要跨節(jié)點(diǎn)完成，這導(dǎo)致了極大的通信開銷，尤其是對(duì)于網(wǎng)絡(luò)帶寬受限的系統(tǒng)。本文提出了一種縱向編碼機(jī)制來減少通信開銷，其核心思想是通過檢查點(diǎn)數(shù)據(jù)劃分以及限制編碼過程到每個(gè)節(jié)點(diǎn)以減少節(jié)點(diǎn)之間的通信量。對(duì)于應(yīng)用該方案的系統(tǒng)，在檢查點(diǎn)執(zhí)行（或故障恢復(fù)）過程中，每個(gè)節(jié)點(diǎn)僅需發(fā)送一倍于本地檢查點(diǎn)的數(shù)據(jù)以及幾個(gè)冗余編碼塊到其他節(jié)點(diǎn)。因此，本文提出的編碼方案可以極大的削減檢

3、查點(diǎn)執(zhí)行和故障恢復(fù)過程中的通信量，而且沒有引入額外的編碼開銷，實(shí)驗(yàn)結(jié)果亦證明了這兩點(diǎn)。另外，就容忍n個(gè)節(jié)點(diǎn)中k個(gè)節(jié)點(diǎn)同時(shí)發(fā)生錯(cuò)誤所付出的開銷不會(huì)隨著n增大而增大而言，該機(jī)制具有很好的擴(kuò)展性。此外，當(dāng)n>>k時(shí)，從單個(gè)節(jié)點(diǎn)的角度來考慮，縱向編碼機(jī)制可以避免冗余節(jié)點(diǎn)的使用，同時(shí)保證和現(xiàn)有編碼機(jī)制近似的內(nèi)存占用。最后，本文將該方案擴(kuò)展到多級(jí)無盤檢查點(diǎn)機(jī)制中以獲得更好的性能。
　　另外，通過對(duì)比無盤檢查點(diǎn)容錯(cuò)和分布式存儲(chǔ)容錯(cuò)的共性，本文給