SQL查詢到MapReduce作業(yè)流的翻譯優(yōu)化研究.pdf

1、ResearchOnOptimizationofSQLtoMapreduce●。一_1ranslatorAThesisSubmittedtoSoutheastUniversityFortheAcademicDegreeofMasterofEngineeringBYMaXnSupervisedbyAssociateProfessorSongAiboSchoolofComputerScience&EngineeringSoutheastUn

2、iversityNanjingCHINAJune2014摘要摘要隨著電子商務(wù)、社交網(wǎng)絡(luò)以及物聯(lián)網(wǎng)等新一代大規(guī)?；ヂ?lián)網(wǎng)應用的快速發(fā)展，企業(yè)需要存儲與處理的數(shù)據(jù)規(guī)模己發(fā)展到TB級甚至PB級。云計算數(shù)據(jù)處理系統(tǒng)Hadoop采用了數(shù)據(jù)并行計算的思想處理大數(shù)據(jù)，其提供的編程模型MapReduce近年來被廣泛用于企業(yè)信息處理、科學實驗統(tǒng)計、生物計算等領(lǐng)域。使用MapReduce進行復雜數(shù)據(jù)分析處理時，查詢請求都是通過翻譯工具翻譯成MapReduce

3、作業(yè)流進行處理，然而目前通過翻譯工具生成的MapReduce作業(yè)流存在作業(yè)數(shù)量過多，作業(yè)代碼冗長等問題，導致查詢執(zhí)行效率低下，已經(jīng)不能很好的適應人們的需求。本文針對MapReduce上層的高級查詢工具存在的問題，對類SQL查詢到MapReduce作業(yè)流的翻譯優(yōu)化技術(shù)進行了研究。本文分析了當前MapReduce上層的高級查詢工具對查詢語句的翻譯優(yōu)化過程，結(jié)合Hadoop在掃描數(shù)據(jù)時采用暴力掃描，并且將計算結(jié)果保存到本地磁盤及HDFS的特性

4、，確定了作業(yè)之間最基礎(chǔ)的輸入數(shù)據(jù)相關(guān)性和前驅(qū)相關(guān)性，根據(jù)作業(yè)相關(guān)性，設(shè)計了作業(yè)之間的合并規(guī)則，解決了作業(yè)流優(yōu)化中如何判斷作業(yè)是否可以合并以及如何合并的問題，為作業(yè)流優(yōu)化提供支撐。針對作業(yè)流包含作業(yè)數(shù)量過多、無法快速找出最優(yōu)合并方案的問題，提出了自底向上和自頂向下兩種合并策略，實現(xiàn)作業(yè)流中作業(yè)的快速合并。同時本文分析了MapReduce作業(yè)的執(zhí)行過程，建立了計算作業(yè)執(zhí)行代價的數(shù)學模型，解決了預估作業(yè)流執(zhí)行代價的問題。最后將合并策略與代價模

5、型結(jié)合，設(shè)計了基于代價的相關(guān)性敏感的作業(yè)合并算法，利用該算法可以在作業(yè)合并時，選擇執(zhí)行代價較小的作業(yè)流作為最終的合并結(jié)果，從而保證類SQL查詢被翻譯為高效的作業(yè)流。本文設(shè)計并開發(fā)了SQLMR系統(tǒng)，實現(xiàn)上述功能，并搭建了實驗平臺，通過基準測試集TPCH生成測試數(shù)據(jù)，將SQLMR系統(tǒng)與Hive和YSmart進行了性能對比。實驗結(jié)果表明，SQLMR與Hive、YSmart相比，翻譯得到的作業(yè)流可以有效減少磁盤I／0開銷、網(wǎng)絡(luò)傳輸開銷，具有明顯