云計算環(huán)境下的多數(shù)據集連接優(yōu)化.pdf

1、“大數(shù)據”時代的到來，加快了云計算技術的發(fā)展和推廣，眾多涉及海量數(shù)據處理的云平臺蓬勃涌現(xiàn)。云計算技術已逐步發(fā)展成熟，并深入人們生活、工業(yè)和研究的各個方面。MapReduce是一種已廣泛運用到云計算數(shù)據處理的并行編程模型，如何使得MapReduce支持關系模型數(shù)據庫進行復雜的數(shù)據處理已吸引不少企業(yè)界和學術界的研究。
　　 在大規(guī)模數(shù)據分析中，復雜處理要求越來越多，數(shù)據連接、查詢信息往往跨越多個數(shù)據集?，F(xiàn)有的基于MapReduce的

2、多表連接機制多采用串行級聯(lián)方式實現(xiàn)，將多表連接分為多次兩表連接。該模式產生大量的中間數(shù)據，需要進行多次數(shù)據傳輸，效率較低。因此，改善多表連接方式、提高多表連接效率成為基于MapReduce數(shù)據處理研究的一個亟待解決的問題。
　　 本文首先介紹了云計算的相關技術、Hadoop平臺、HDFS和MapReduce編程模型，然后在此基礎上分析云環(huán)境中多數(shù)據集連接的實現(xiàn)和研究現(xiàn)狀，并提出基于二維節(jié)點矩陣的分級多表連接模型TD-HMJ(Tw

3、o-DimensionnodematrixbasedHierarchizedMulti-Join)。TD-HMJ首先設置對中key為元組結構，通過一次Map過程處理所有連接屬性;然后建立二維Reduce節(jié)點矩陣，以一對一或一對多的方式傳輸中間結果;再進行多組3(2)表并行連接:最后通過多級Reduce過程實現(xiàn)多組間連接。實驗表明:TD-HMJ有效減少了多表并行連接時的數(shù)據傳輸量，縮短了多表連接時間，提高了連接效率。