基于MapReduce大數(shù)據(jù)并行處理的若干關(guān)鍵技術(shù)研究.pdf

1、關(guān)系數(shù)據(jù)庫技術(shù)在傳統(tǒng)數(shù)據(jù)科學(xué)領(lǐng)域的研究已經(jīng)比較完善，但是由于當(dāng)前CPU計算能力與磁盤讀寫技術(shù)發(fā)展的不平衡，使I/O成為了傳統(tǒng)數(shù)據(jù)庫性能提升的瓶頸。此外，傳統(tǒng)數(shù)據(jù)庫也無法勝任非結(jié)構(gòu)化數(shù)據(jù)類型的數(shù)據(jù)分析處理任務(wù)。隨著大數(shù)據(jù)研究的日益深入，出現(xiàn)了各種新的數(shù)據(jù)查詢處理方法。關(guān)系數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫技術(shù)相融合研究是數(shù)據(jù)科學(xué)、數(shù)據(jù)工程領(lǐng)域的研究熱點，國內(nèi)外研究學(xué)者進行了一些探索，仍然有很多關(guān)鍵問題有待解決。如何實現(xiàn)利用MapReduce分布式并行

2、計算方法解決大數(shù)據(jù)查詢處理，以及針對查詢處理系統(tǒng)提出有效的查詢優(yōu)化策略是目前學(xué)術(shù)界普遍關(guān)注的問題。
　　本文正是從利用MapReduce分布式并行計算的思想和方法入手，設(shè)計了新的面向大數(shù)據(jù)的查詢分析處理方法，本文的研究工作概括為以下幾個方面：
　　一、在傳統(tǒng)關(guān)系數(shù)據(jù)庫查詢代價估計模型基礎(chǔ)上，設(shè)計了基于MapReduce的大數(shù)據(jù)并行處理的代價估計模型，并且針對不同的優(yōu)化策略，分別設(shè)計了Hash連接環(huán)境，查詢物化策略環(huán)境以及頻繁

3、查詢環(huán)境下的代價估計優(yōu)化模型。
　　二、討論了并行處理系統(tǒng)的查詢優(yōu)化控制問題。提出基于列存儲的大數(shù)據(jù)分析系統(tǒng)物化策略。首先，通過引入MapReduce物化代價估計模型，深入分析影響物化效率的各個因素。在此基礎(chǔ)上設(shè)計了MapReduce分布式環(huán)境下的面向物化策略的存儲系統(tǒng)文件格式：MMF，在數(shù)據(jù)加載過程中采用協(xié)同定位策略實現(xiàn)對物化數(shù)據(jù)的存儲優(yōu)化；其次，分別針對不同的物化時機，構(gòu)建了MapReduce早期物化策略， MapReduce

4、延遲物化策略和MapReduce混合物化策略；然后，利用自適應(yīng)物化調(diào)整策略對其做了進一步優(yōu)化。
　　三、針對傳統(tǒng)關(guān)系型數(shù)據(jù)庫在對大數(shù)據(jù)訪問操作時，系統(tǒng)性能嚴重下降，計算效率提升有限以及可擴展性差等問題，引入MapReduce并行計算模型，設(shè)計了大數(shù)據(jù)上基于列存儲的MapReduce并行連接算法。首先，設(shè)計了面向大數(shù)據(jù)的分布式計算模型，其次，使用了分片聚集和子連接啟發(fā)式優(yōu)化方法實現(xiàn)大數(shù)據(jù)在MapReduce分布式環(huán)境下并行連接算法。

5、
　　四、設(shè)計了大數(shù)據(jù)上基于列存儲的支持負載數(shù)據(jù)偏斜動態(tài)探測的MapReduce分布式Hash連接算法。首先，建立了面向大數(shù)據(jù)的分布式計算模型，在此基礎(chǔ)上設(shè)計了MapReduce環(huán)境下的哈希分布式存儲系統(tǒng)；其次，在數(shù)據(jù)加載過程中采用協(xié)同定位策略實現(xiàn)對數(shù)據(jù)分布的優(yōu)化，減少數(shù)據(jù)偏斜的出現(xiàn)；然后，在設(shè)計的分片聚集并行連接基礎(chǔ)上，利用Hash連接以及動態(tài)探測方法優(yōu)化了數(shù)據(jù)連接處理效率。
　　五、通過討論并行處理系統(tǒng)的調(diào)度優(yōu)化控制問題

6、，設(shè)計了面向大數(shù)據(jù)頻繁查詢工作負載的優(yōu)化方法。首先，建立頻繁查詢模型，分析了MapReduce環(huán)境下影響頻繁查詢效率各種因素。其次，設(shè)計了基于MapReduce一致性窗口分片算法，不僅為頻繁查詢集合創(chuàng)建更多的重用機會，而且通過對輸入數(shù)據(jù)這樣的精細粒度調(diào)度,可以大大減少冗余數(shù)據(jù)加載。然后，在數(shù)據(jù)調(diào)度方面，利用MapReduce延遲調(diào)度策略,提高數(shù)據(jù)處理吞吐量，優(yōu)化MapReduce集群計算資源分配，通過MapReduce頻繁查詢數(shù)據(jù)重用策