分布式檢查點(diǎn)系統(tǒng)的存儲(chǔ)優(yōu)化策略研究.pdf

1、隨著計(jì)算機(jī)硬件水平的不斷提高，超級計(jì)算和云計(jì)算架構(gòu)的規(guī)模以及復(fù)雜度也隨之而增加。然而隨著計(jì)算規(guī)模以及復(fù)雜度的增加，計(jì)算任務(wù)發(fā)生故障的概率也會(huì)增加。例如在分布式系統(tǒng)中，一個(gè)節(jié)點(diǎn)的計(jì)算因?yàn)橐馔馇闆r導(dǎo)致運(yùn)行失敗將導(dǎo)致整個(gè)計(jì)算任務(wù)運(yùn)行失敗，這將帶來巨大的資源浪費(fèi)。因此，能夠在故障發(fā)生時(shí)容忍故障就顯得尤為重要了。檢查點(diǎn)技術(shù)就是這樣一種有效的容錯(cuò)手段，已經(jīng)被廣泛應(yīng)用于計(jì)算機(jī)、數(shù)據(jù)庫系統(tǒng)中。通過使用檢查點(diǎn)技術(shù)，可以將程序在內(nèi)存中的狀態(tài)信息寫入到持久性

2、的存儲(chǔ)設(shè)備中。一旦程序運(yùn)行發(fā)生了意外，通過將檢查點(diǎn)文件中的內(nèi)容重新映射到內(nèi)存中，最后能恢復(fù)程序的繼續(xù)運(yùn)行，這樣就能夠最大程度的避免計(jì)算時(shí)間和資源的浪費(fèi)。
　　然而隨著檢查點(diǎn)需要存儲(chǔ)的內(nèi)容越來越多，而且檢查點(diǎn)的設(shè)置也越來越頻繁，因此使得檢查點(diǎn)文件的大小也越來越大，這樣就給存儲(chǔ)的可擴(kuò)展性帶來了巨大的挑戰(zhàn)。本文首先分析了檢查點(diǎn)文件中所組成的內(nèi)容，然后針對于這些不同的內(nèi)容來進(jìn)行實(shí)驗(yàn)，以此來獲取檢查點(diǎn)文件中內(nèi)容的冗余性。在檢查點(diǎn)文件中存儲(chǔ)的

3、內(nèi)容有:進(jìn)程描述符、進(jìn)程地址空間中的內(nèi)容、寄存器里面的數(shù)據(jù)等。而對這些內(nèi)容在檢查點(diǎn)文件中存儲(chǔ)的比例中分析，發(fā)現(xiàn)進(jìn)程地址空間中的內(nèi)容占據(jù)了檢查點(diǎn)文件中大部分的存儲(chǔ)空間。在隨后對進(jìn)程地址空間中的內(nèi)容進(jìn)行分析后發(fā)現(xiàn)，棧段自身存在著非常多的冗余信息，而在分布式程序中，不同進(jìn)程間的堆、棧段有著極高的相似度，同時(shí)這些進(jìn)程所運(yùn)行的代碼段、加載鏈接庫以及采取了共享內(nèi)存通信方式的共享內(nèi)存內(nèi)容都是相同的。根據(jù)檢查點(diǎn)文件中所組成內(nèi)容的冗余性，本文提出了一種減