分布式平臺下基于開銷估算的多數(shù)據(jù)集連接方法.pdf

1、分布式計算的發(fā)展為大數(shù)據(jù)的分析和處理提供了一個新的平臺。MapReduce是一種能夠在分布式系統(tǒng)中實現(xiàn)大規(guī)模數(shù)據(jù)并行運算的分布式計算框架。但是MapReduce自身的不足限制了它處理多數(shù)據(jù)集連接的能力。如何改進現(xiàn)有的利用MapReduce處理多數(shù)據(jù)集連接的方法，提高MapReduce處理數(shù)據(jù)集連接的效率，對于提高數(shù)據(jù)的查詢、分析效率，更好地支持大數(shù)據(jù)的分析處理具有重要的意義。
　　分析MapReduce計算框架中Map階段和Red

2、uce階段的數(shù)據(jù)處理過程，在現(xiàn)有連接開銷模型的基礎上，細化Map階段和Reduce階段中的數(shù)據(jù)排序、壓縮等過程，加入map函數(shù)和reduce函數(shù)部分的計算開銷。給出利用概率分布函數(shù)估算連接結果數(shù)據(jù)量的方法，使模型能更好地服務于連接計劃的規(guī)劃。
　　以開銷估算模型為基礎，設計一個結合貪心和動態(tài)規(guī)劃策略的多數(shù)據(jù)集連接方法。首先利用預等值連接減少參與非等值連接的數(shù)據(jù)集的數(shù)據(jù)量，降低后續(xù)處理非等值連接所需的開銷；其次，利用ThetaJoi

3、n分步連接和二路ThetaJoin連接組處理所有非等值連接；最后，利用貪心和動態(tài)規(guī)劃將等值連接分解成多個子模塊，并為每個子模塊選擇合適的連接方案。這種啟發(fā)式的連接方法利用開銷模型分析現(xiàn)有連接方法在處理不同連接場景時的優(yōu)劣，將任務進行分解，為每個子任務選擇合適的連接方法，實現(xiàn)以減少局部連接的開銷來提高整個連接任務效率的目的。
　　設計不同的連接場景，在搭建的Hadoop并行計算平臺上對多種不同的連接方法進行實驗。實驗結果表明，設計的