基于列存儲(chǔ)的數(shù)據(jù)復(fù)用研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的興起與飛速發(fā)展，大量的信息迎面而來，如何用科學(xué)的方法整理數(shù)據(jù)，從而從不同的視角對各方面信息進(jìn)行準(zhǔn)確判斷，比以往更為迫切，更受關(guān)注。數(shù)據(jù)倉庫作為數(shù)據(jù)集成的框架之一，是解決大數(shù)據(jù)環(huán)境下分析型應(yīng)用問題的有效手段。數(shù)據(jù)集成中不同數(shù)據(jù)集之間存在較大的冗余，需要的存儲(chǔ)較多，對查詢響應(yīng)速度的影響也較大。數(shù)據(jù)倉庫往往需要采用數(shù)據(jù)復(fù)用策略使得分析大量數(shù)據(jù)的成本趨于合理。
　　在傳統(tǒng)的關(guān)系型數(shù)據(jù)倉庫中，數(shù)據(jù)均是按行存儲(chǔ)的。遺憾的是，由于不

2、同數(shù)據(jù)集中關(guān)系表的模式在存儲(chǔ)層次上往往不相同，彼此之間的冗余度很小，導(dǎo)致按行存儲(chǔ)的數(shù)據(jù)存儲(chǔ)方式并不利于數(shù)據(jù)復(fù)用的實(shí)現(xiàn)。列存儲(chǔ)數(shù)據(jù)倉庫中，操作的對象變?yōu)榱?，屬性之間的冗余度較大，從而消除了行存儲(chǔ)數(shù)據(jù)倉庫在數(shù)據(jù)復(fù)用領(lǐng)域的不利條件。為此，本文對如何將數(shù)據(jù)復(fù)用有效地融入到列存儲(chǔ)數(shù)據(jù)倉庫中進(jìn)行了研究。
　　1.首先，論文闡述了海量數(shù)據(jù)環(huán)境下數(shù)據(jù)復(fù)用的重要意義，并對數(shù)據(jù)復(fù)用技術(shù)的發(fā)展歷程和國內(nèi)外列存儲(chǔ)數(shù)據(jù)倉庫中關(guān)于數(shù)據(jù)復(fù)用的現(xiàn)狀進(jìn)行了分析，總

3、結(jié)了它們的特征和不足之處。
　　2.然后，論文對列存儲(chǔ)數(shù)據(jù)倉庫中數(shù)據(jù)復(fù)用的核心元素進(jìn)行了簡單地介紹，其中包括數(shù)據(jù)復(fù)用策略的概述，可復(fù)用數(shù)據(jù)的定義，查詢結(jié)果的等價(jià)原則等。
　　3.隨后，本文深入研究了列存儲(chǔ)數(shù)據(jù)復(fù)用策略的結(jié)構(gòu)設(shè)計(jì)，其數(shù)據(jù)復(fù)用策略主要由候選可復(fù)用數(shù)據(jù)發(fā)掘模塊、可復(fù)用數(shù)據(jù)篩選模塊、基于存儲(chǔ)的數(shù)據(jù)復(fù)用實(shí)現(xiàn)模塊和基于可復(fù)用數(shù)據(jù)的查詢執(zhí)行模塊四個(gè)模塊組成。其中，候選可復(fù)用數(shù)據(jù)發(fā)掘模塊描述了海量數(shù)據(jù)中利用CM模式匹配算法快

4、速尋找候選映射關(guān)系的合理方案;可復(fù)用數(shù)據(jù)篩選模塊則根據(jù)映候選映射關(guān)系對屬性值進(jìn)行逐一匹配，得到確定的可復(fù)用數(shù)據(jù)，這是數(shù)據(jù)復(fù)用實(shí)現(xiàn)的必要保證;基于存儲(chǔ)的數(shù)據(jù)復(fù)用實(shí)現(xiàn)模塊則封裝了具體復(fù)用的細(xì)節(jié)，并負(fù)責(zé)對外提供數(shù)據(jù)訪問的統(tǒng)一接口;查詢執(zhí)行模塊對傳統(tǒng)查詢執(zhí)行流程進(jìn)行了相應(yīng)的改進(jìn)，從而了在可復(fù)用數(shù)據(jù)的基礎(chǔ)上實(shí)現(xiàn)SQL語句的直接查詢。
　　4.最后，本文以DWMS為平臺(tái)，分別以真實(shí)數(shù)據(jù)集和基準(zhǔn)數(shù)據(jù)集為測試數(shù)據(jù)，具體實(shí)現(xiàn)了上述各項(xiàng)關(guān)鍵技術(shù)。通過