Bigtable分布式存儲系統(tǒng)的研究.pdf

1、云存儲是云計(jì)算的核心內(nèi)容,其市場潛力巨大。Bigtable分布式數(shù)據(jù)存儲系統(tǒng)是Google為其內(nèi)部海量的結(jié)構(gòu)化數(shù)據(jù)開發(fā)的云存儲技術(shù),是Google的第三項(xiàng)云計(jì)算關(guān)鍵技術(shù)。Bigtable具有高可靠性、高性能、可伸縮等特性,是所有云時(shí)代分布式存儲系統(tǒng)的開發(fā)藍(lán)本。然而,Bigtable中仍存在許多亟待改進(jìn)的地方。
　　本文首先對Bigtable的實(shí)現(xiàn)細(xì)節(jié)進(jìn)行具體的表述,并在深入了解Bigtable架構(gòu)、逐步剖析Bigtable實(shí)現(xiàn)細(xì)節(jié)

2、的基礎(chǔ)上,提出了Bigtable在批量插入、主服務(wù)器故障恢復(fù)、SSTable壓縮機(jī)制、子表服務(wù)器重啟、時(shí)間軸訪問效率低和讀操作延遲方面的問題。并在系統(tǒng)分析各個(gè)問題的產(chǎn)生原因之后,給出了這些問題可能的解決方案。對于每種方案,都通過仿真或性能分析,給出了新方案在解決Bigtable原有問題上的優(yōu)勢。
　　本文針對Bigtable常規(guī)方法在批量插入時(shí)會導(dǎo)致子表頻繁分裂的問題,給出了帶預(yù)估期的批量插入方案。對于Bigtable主服務(wù)器重啟

3、操作流程復(fù)雜、資源和時(shí)間消耗多的問題,本文將檢查點(diǎn)機(jī)制應(yīng)用到主服務(wù)器的恢復(fù)中,給出了帶檢查點(diǎn)的主服務(wù)器恢復(fù)機(jī)制。對于Bigtable原壓縮機(jī)制對周期的選取要求較高的問題,給出了一種基于數(shù)量的壓縮方案。對于Bigtable中子表服務(wù)器重啟不能有效利用其本地磁盤上的SSTable文件,增加不必要的網(wǎng)絡(luò)通信和數(shù)據(jù)傳輸?shù)膯栴},本文給出了子表服務(wù)器初始化的新方案。對于Bigtable在時(shí)間軸上訪問低效的問題,本文給出了帶時(shí)間索引的SSTable設(shè)