面向OLAP的分布式鍵值存儲引擎.pdf

1、現如今，企業(yè)信息系統(tǒng)產生的數據量急劇增加，用于企業(yè)數據管理的聯(lián)機事務處理系統(tǒng)的分析處理能力差強人意。在此應用背景下，數據倉庫技術獲得了長足的發(fā)展，數據倉庫技術于20世紀80年代提出，20世紀90年代從最初的探索階段進入了實質的使用階段。聯(lián)機分析處理系統(tǒng)，即 OLAP系統(tǒng)，是數據倉庫技術中最主要的應用之一，尤其是隨著大數據時代的到來，OLAP系統(tǒng)得到了越來越廣泛的應用。OLAP系統(tǒng)擅長針對大數據量進行復雜的多維查詢處理，將分析處理所獲得的

2、潛在的價值信息以一種直觀而易懂的形式展示給相關的決策和分析人員，方便他們了解對象的需求，制定切實可行的方案。在 OLAP系統(tǒng)中，數據存儲系統(tǒng)扮演著極其重要的角色。存儲系統(tǒng)作為其底層基礎系統(tǒng)，它的吞吐量，訪問延遲，可用性和可伸縮性如何將直接影響 OLAP系統(tǒng)的數據規(guī)模，性能；而這也將進一步影響數據查詢處理所得結果的實時性和有效性。
　　本文以自行設計和研發(fā)的面向 OLAP應用場景的分布式鍵值存儲引擎 T-IMDB為背景，詳細闡述了其

3、設計思想，關鍵技術和實現方法。T-IMDB系統(tǒng)將內存作為其永久性存儲介質，磁盤等二級存儲設備僅用于存儲備份數據。它首先通過采用基于日志結構的內存管理機制和兩階段日志清理與資源回收方案，有效地減少了內存碎片，提高了內存的使用效率，使得系統(tǒng)在內存利用率較高的情況下仍能保持較高的吞吐量和較低的訪問延遲。其次，T-IMDB引入一套可伸縮的分布式索引方案，該方案在 Key-Value數據模型基礎上支持范圍查詢，同時保證索引和被索引的數據在客戶端角