基于內(nèi)存的分布式列式數(shù)據(jù)庫緩存管理系統(tǒng)設(shè)計與實現(xiàn).pdf

1、數(shù)據(jù)庫是日常生產(chǎn)活動中重要的信息存儲和檢索工具，其設(shè)計一直隨需求的變化而發(fā)展，系統(tǒng)架構(gòu)從單機擴大為分布式集群，存儲介質(zhì)從磁盤轉(zhuǎn)移到內(nèi)存，數(shù)據(jù)組織從行式衍生出列式，而作為數(shù)據(jù)庫重要優(yōu)化手段之一的緩存技術(shù)也無時無刻不在演進。
　　數(shù)據(jù)庫緩存通常分析并結(jié)合系統(tǒng)特性，儲存歷史結(jié)果避免相似操作的重復(fù)執(zhí)行，達到加速查詢的目的。從緩存粒度層面可以將目前的緩存技術(shù)分為三類：Page緩存、Tuple緩存和語義緩存，前兩者符合傳統(tǒng)數(shù)據(jù)庫的需求，語義緩

2、存因抽象度高而適用面更廣，但也因此降低了特定場景的優(yōu)化能力。在低并發(fā)、高數(shù)據(jù)處理量的聯(lián)機分析處理OLAP（On-Line Analytical Processing）場景下，如何針對基于內(nèi)存的分布式列式數(shù)據(jù)庫特點為其設(shè)計緩存，是當前熱門研究課題之一。
　　本論文以自主研發(fā)的分布式列式數(shù)據(jù)庫 Goldfish為背景，針對其列數(shù)據(jù)組織方式和異步推進的分布式計算模型，提出一套分布式物理執(zhí)行計劃語義緩存技術(shù)DPPSCache（Distri

3、buted Physical Planning Semantic Cache），暫存中間結(jié)果，避免重復(fù)計算并降低網(wǎng)絡(luò)數(shù)據(jù)傳輸量，加速OLAP類查詢。本論文闡述了DPPSCache的緩存組織方式、緩存匹配算法、代價模型和緩存淘汰算法、緩存可靠性，工作內(nèi)容如下：
　　1.DPPSCache緩存分布式物理執(zhí)行計劃中物理算子的執(zhí)行結(jié)果，利用算子的局部語義和全局語義信息構(gòu)建緩存特征樹，并為其建立索引；
　　2.分析特征點語義匹配和值區(qū)

4、間匹配細節(jié)，衍生出特征樹匹配方法，提出了基于特征樹的緩存匹配算法CCTM（Cache Characteristic Tree Matching Algorithm）；
　　3.針對分布式列式數(shù)據(jù)庫緩存特點，提出了基于代價模型的緩存淘汰算法RCBR（Reference and Cost Based Replacement Algorithm）；
　　4.分布式環(huán)境下，內(nèi)存中的緩存對象難免因節(jié)點失效而丟失，因此本文設(shè)計了一套緩存

5、可靠存儲策略，包括多副本、糾刪碼和持久化。
　　本論文在Goldfish數(shù)據(jù)庫基礎(chǔ)上，設(shè)計并實現(xiàn)了一套基于DPPSCache的分布式緩存管理系統(tǒng)，并同開源分布式數(shù)據(jù)庫系統(tǒng)Hive和Spark SQL比較，從測試數(shù)據(jù)來看，配有緩存的 Goldfish不僅提升了原有系統(tǒng)的性能，而且在查詢性能方面明顯高于對比系統(tǒng)。同時，在當前場景下 RCBR淘汰算法要優(yōu)于傳統(tǒng)的最近最少使用算法LRU（Least Recently Used）和最少訪問算