Hadoop Map Reduce Shuffle過程優(yōu)化方案研究.pdf

1、Hadoop MapReduce是基于Google提出的MapReduce模型實現(xiàn)的一個開源分布式編程框架。通過對Hadoop MapReduce作業(yè)運(yùn)行過程中數(shù)據(jù)傳輸階段的源碼詳細(xì)分析得出，MapReduce系統(tǒng)在傳輸中間數(shù)據(jù)過程中每個Map任務(wù)和Reduce任務(wù)之間都要建立一條鏈接，因此包含多個Map任務(wù)和Reduce任務(wù)的大型作業(yè)運(yùn)行過程中集群中由于數(shù)據(jù)傳輸?shù)脑虼嬖诖罅烤W(wǎng)絡(luò)鏈接，容易導(dǎo)致網(wǎng)絡(luò)擁塞從而使作業(yè)運(yùn)行變慢。部分Map任務(wù)

2、中單個鍵值對數(shù)據(jù)量很小，和Reduce任務(wù)建立鏈接后只傳送少量數(shù)據(jù)，鏈接利用率不高。此外，Hadoop默認(rèn)使用HTTP網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳輸，低速的網(wǎng)絡(luò)協(xié)議也是限制系統(tǒng)性能的因素。
　　為了減輕MapReduce過程中大量網(wǎng)絡(luò)鏈接造成的網(wǎng)絡(luò)負(fù)荷，進(jìn)一步優(yōu)化Hadoop數(shù)據(jù)混洗階段網(wǎng)絡(luò)I/O過程，一種改進(jìn)方案就是將Map任務(wù)進(jìn)行分組，分組中的數(shù)據(jù)先進(jìn)行合并。在每組Map任務(wù)中選出一個代表將組內(nèi)其他任務(wù)的輸出數(shù)據(jù)統(tǒng)一收集起來，Reduce任

3、務(wù)直接從這一個Map任務(wù)就可以得到整個組的數(shù)據(jù)。通過讀Shuffle服務(wù)調(diào)度器的改寫利用特定的分組策略實現(xiàn)對Map任務(wù)分組，可以極大減少集群運(yùn)行過程中Map任務(wù)和Reduce任務(wù)之間的數(shù)據(jù)傳輸鏈路，同時由于分組使得數(shù)據(jù)聚集，最終Map輸出數(shù)據(jù)中單個分片對應(yīng)的數(shù)據(jù)量增加，對應(yīng)的鏈接進(jìn)行傳輸?shù)臄?shù)據(jù)量也相應(yīng)增加，提高了鏈接利用率。同時使用高速RDMA網(wǎng)絡(luò)協(xié)議代替原來的HTTP網(wǎng)絡(luò)協(xié)議作為節(jié)點(diǎn)之間數(shù)據(jù)交換的方式可以進(jìn)一步提高Hadoop系統(tǒng)性能