分布式環(huán)境下計(jì)算結(jié)果重用的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展及企業(yè)信息化水平的提高，數(shù)據(jù)的產(chǎn)生量和積累量呈指數(shù)增長，如何利用好、管理好海量數(shù)據(jù)，已成為影響企業(yè)決策，驅(qū)動價(jià)值增長的重要環(huán)節(jié)。MapReduce模型作為大規(guī)模集群并行處理框架，已成為海量數(shù)據(jù)處理的重要工具。
　　傳統(tǒng)數(shù)據(jù)倉庫無法在可接受時(shí)間內(nèi)處理TB級數(shù)據(jù)，使得基于MapReduce的數(shù)據(jù)倉庫工具Hive應(yīng)用越來越廣泛。由于Hive將查詢語句轉(zhuǎn)化為MapReduce工作流，而MapReduce工作流串行作業(yè)間

2、需將中間結(jié)果寫回HDFS供下個(gè)作業(yè)讀取，產(chǎn)生大量I/O和作業(yè)啟動的時(shí)間開銷，降低了數(shù)據(jù)處理效率，且相似查詢之間無法共享查詢結(jié)果，浪費(fèi)了計(jì)算資源。針對該問題，本文對如何重用MapReduce計(jì)算結(jié)果的方法進(jìn)行了研究。
　　1.文章介紹了研究背景和研究現(xiàn)狀，闡述了海量數(shù)據(jù)背景下重用計(jì)算結(jié)果的重要性，并對基于 MapReduce的現(xiàn)有研究進(jìn)行了分析，總結(jié)了相關(guān)工作的特點(diǎn)和不足；介紹了HDFS的架構(gòu)和運(yùn)行原理，分析了MapReduce模型

3、的執(zhí)行流程，介紹了Hive的優(yōu)勢及HiveQL的語法規(guī)則。
　　2.在此基礎(chǔ)上，文章介紹了Hive生成抽象語法樹及依賴關(guān)系的過程，分析連接過程和原理，對基于 Hive的計(jì)算結(jié)果重用的可行性進(jìn)行了探討。
　　3.文章詳細(xì)介紹了重用策略的實(shí)現(xiàn)。定義了連接體、連接圖、連接子體和重用連接圖等，用于描述計(jì)算結(jié)果的數(shù)據(jù)結(jié)構(gòu)，并提出抽取計(jì)算結(jié)果特征的算法。設(shè)計(jì)實(shí)現(xiàn)了計(jì)算結(jié)果匹配算法，提出單連接體和多連接體重用策略。當(dāng)有多個(gè)計(jì)算結(jié)果可用時(shí)，

4、根據(jù)作業(yè)數(shù)量和所有數(shù)據(jù)源的記錄數(shù)之積生成最佳重用方案。對策略的時(shí)間復(fù)雜度和空間復(fù)雜度進(jìn)行了詳細(xì)分析。為了提高計(jì)算結(jié)果的重用概率，提出多鍵選擇、延遲算數(shù)運(yùn)算和語義理解三種方法，并通過實(shí)驗(yàn)對其代價(jià)進(jìn)行了分析。介紹了基于作業(yè)數(shù)量、作業(yè)執(zhí)行時(shí)間、重用次數(shù)和滿足最近查詢等需求的結(jié)算結(jié)果管理方法。
　　4.文章通過實(shí)驗(yàn)對文章所提出的策略進(jìn)行了詳實(shí)的驗(yàn)證。采用兩種基準(zhǔn)測試數(shù)據(jù)集分別對單連接體和多連接體重用策略進(jìn)行了分析，針對策略可能對初次查詢效