基于LevelDB的鍵值存儲(chǔ)引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、海量數(shù)據(jù)的合理運(yùn)用是云時(shí)代的大數(shù)據(jù)的主題，如何在數(shù)據(jù)中分析提取出關(guān)鍵信息是企業(yè)關(guān)注的焦點(diǎn)。解決數(shù)據(jù)存儲(chǔ)及管理，發(fā)展一個(gè)性能高、擴(kuò)展性好、性價(jià)比高、易用的分布式存儲(chǔ)系統(tǒng)來滿足新的發(fā)展需求是整個(gè)互聯(lián)網(wǎng)發(fā)展的關(guān)鍵。將分布式集合進(jìn)行計(jì)算、存儲(chǔ)管理，促進(jìn)各行各業(yè)提高效益，簡化服務(wù)是一場(chǎng)新的信息技術(shù)革命。鑒于此本文主要針對(duì)提高分布式KV存儲(chǔ)系統(tǒng)的性能，分析研究系統(tǒng)中存儲(chǔ)引擎的原理、架構(gòu)及工作流程，并提出優(yōu)化方案。
　　本文首先研究分析了當(dāng)前國

2、內(nèi)外主流分布式鍵值存儲(chǔ)Memcached、Redis、Tair，并對(duì)三種系統(tǒng)進(jìn)行效率上的對(duì)比分析，之后對(duì)ShenDB所采用的理論模型LSM-Tree、架構(gòu)基礎(chǔ)LevelDB進(jìn)行分析描述，最后從compaction的順序執(zhí)行入手對(duì)系統(tǒng)優(yōu)化，提升數(shù)據(jù)的處理性能。在重新構(gòu)建compaction中第一階段我將其拆分，將Write、Compute、Read操作進(jìn)行流水線合并。但是對(duì)于不同情形的流水線合并存在不同的瓶頸，無論哪種資源成為瓶頸，都不能

3、充分利用另一種資源，并且流水線效率低。第二階段為了減低瓶頸對(duì)于流水線效率的影響，采用添加瓶頸資源的方式，進(jìn)行并行流水線合并。優(yōu)化后的系統(tǒng)比第一階段有著顯著的提升。最后與LevelDB進(jìn)行隨機(jī)讀寫和順序讀寫的性能對(duì)比測(cè)試，測(cè)試層級(jí)之間相鄰大小比例設(shè)為（1:2、1:4、1:6、1:8、1:10），數(shù)據(jù)量設(shè)為value_size*Num=(1KB*1M10KB*100K100KB*K)。
　　經(jīng)過長時(shí)間大規(guī)模的對(duì)比測(cè)試，ShenDB的存