DWMS中列存儲(chǔ)的研究與實(shí)現(xiàn).pdf

1、數(shù)據(jù)倉(cāng)庫作為一種分析型的數(shù)據(jù)環(huán)境，越來越受到人們的重視。數(shù)據(jù)倉(cāng)庫與操作型數(shù)據(jù)庫環(huán)境相分離。相對(duì)于操作型環(huán)境而言，分析型環(huán)境對(duì)數(shù)據(jù)查詢的速度提出了更高的要求。相對(duì)于行存儲(chǔ)，列存儲(chǔ)在讀優(yōu)先的分析型環(huán)境中具有明顯的優(yōu)勢(shì)。為此早在一年多之前，作者所在實(shí)驗(yàn)室就開始基于列存儲(chǔ)的數(shù)據(jù)倉(cāng)庫管理系統(tǒng)的研發(fā)工作。
　　 本文結(jié)合實(shí)際項(xiàng)目的研發(fā)，研究了數(shù)據(jù)庫和數(shù)據(jù)倉(cāng)庫的數(shù)據(jù)存儲(chǔ)技術(shù)、現(xiàn)有關(guān)系數(shù)據(jù)庫管理系統(tǒng)和數(shù)據(jù)倉(cāng)庫管理系統(tǒng)的相關(guān)技術(shù)，特別是列存儲(chǔ)技術(shù)

2、，設(shè)計(jì)并實(shí)現(xiàn)了列存儲(chǔ)數(shù)據(jù)倉(cāng)庫的存儲(chǔ)結(jié)構(gòu)和管理功能，包括外部存儲(chǔ)和緩存。在緩存管理方面提出了一種基于雙管理鏈的自適應(yīng)頁面置換算法——HA算法（Hybrid Adaptive Algorithm）。
　　 首先，本文研究了傳統(tǒng)RDBMS和行存儲(chǔ)DWMS的數(shù)據(jù)存儲(chǔ)，較詳細(xì)地研究了行存儲(chǔ)和列存儲(chǔ)的DB實(shí)現(xiàn)方式，特別分析和總結(jié)了兩種開源數(shù)據(jù)庫PostgreSQL和C-Store的數(shù)據(jù)存儲(chǔ)技術(shù)。
　　 在分析已有關(guān)系數(shù)據(jù)庫存儲(chǔ)的基礎(chǔ)

3、上，對(duì)基于列存儲(chǔ)的數(shù)據(jù)倉(cāng)庫的數(shù)據(jù)存儲(chǔ)進(jìn)行了深入的研究，概要地設(shè)計(jì)了DWMS中列存儲(chǔ)的整體結(jié)構(gòu)和功能模塊，詳細(xì)闡述了DWMS中的文件管理器、緩沖區(qū)管理器和訪問方法管理三個(gè)部分的設(shè)計(jì)與實(shí)現(xiàn)。DWMS中的數(shù)據(jù)存儲(chǔ)分為兩個(gè)方面：邏輯層次結(jié)構(gòu)和物理層次結(jié)構(gòu)。文件管理器使用分層管理的思想將其分為操作系統(tǒng)文件管理、虛擬文件管理和DWMS文件管理三個(gè)部分。虛擬文件管理采用LRU算法淘汰文件句柄、哈希算法查找文件。緩沖區(qū)管理器是整個(gè)系統(tǒng)的核心和數(shù)據(jù)流樞紐

4、。
　　 本文在通用的緩沖區(qū)管理算法的基礎(chǔ)上提出了一種基于雙管理鏈的自適應(yīng)頁面置換算法——HA算法，該算法是對(duì)DMC(2c)算法的改進(jìn)，它引入動(dòng)態(tài)置換點(diǎn)，同時(shí)，根據(jù)缺頁失敗數(shù)確定算法的工作鏈，并根據(jù)頁面訪問序列的局部特征選擇效率較高的頁面置換策略。實(shí)驗(yàn)結(jié)果表明，該算法的缺頁率較改進(jìn)前可降低近30％。B+樹索引是訪問方法管理的一種重要的索引方式。本文主要介紹了該索引的結(jié)構(gòu)、創(chuàng)建、查找和更新操作。
　　 最后，本文分析了DW

5、MS存儲(chǔ)管理器的性能，并提出了它的代價(jià)評(píng)估模型。結(jié)合該代價(jià)評(píng)估模型和系統(tǒng)的具體實(shí)現(xiàn)，從數(shù)據(jù)存儲(chǔ)的角度提出了兩個(gè)方面的優(yōu)化：存儲(chǔ)結(jié)構(gòu)的優(yōu)化和數(shù)據(jù)緩沖區(qū)管理的優(yōu)化。具體優(yōu)化的方法有：將數(shù)據(jù)項(xiàng)中的ROWID存儲(chǔ)在數(shù)據(jù)塊的頭部信息中，節(jié)省存儲(chǔ)空間；贓塊的設(shè)置操作包含在塊管理中，避免數(shù)據(jù)丟失；將段內(nèi)包含的區(qū)信息保存在段控制塊中，有利于段內(nèi)數(shù)據(jù)掃描；哈希鏈采用雙向鏈表的結(jié)構(gòu)，節(jié)省哈希查找時(shí)間和便于更新操作；將數(shù)據(jù)緩沖區(qū)進(jìn)行狀態(tài)設(shè)置，減少批量數(shù)據(jù)導(dǎo)入