基于內(nèi)存的MapReduce系統(tǒng)效率優(yōu)化機(jī)制研究.pdf

1、大數(shù)據(jù)時代下數(shù)據(jù)的處理與分析已成為一個十分重要的環(huán)節(jié)。為了滿足數(shù)據(jù)處理高時效的需求，基于內(nèi)存計算的大數(shù)據(jù)處理系統(tǒng)成為了新的研究熱點(diǎn)?，F(xiàn)有高性能計算集群由于內(nèi)存配置相對CPU配置明顯不足，當(dāng)運(yùn)行在上面的MapReduce系統(tǒng)用來處理數(shù)據(jù)密集性應(yīng)用，容易導(dǎo)致不必要的數(shù)據(jù)溢出到磁盤的I/O操作,內(nèi)存效率急需優(yōu)化。當(dāng)處理大規(guī)模的數(shù)據(jù)集時，分區(qū)數(shù)量過多，基于哈希的Shuffle機(jī)制會導(dǎo)致過多的文件操作和內(nèi)存的不合理使用。但當(dāng)分區(qū)塊過大，任務(wù)消耗的

2、內(nèi)存量變大，容易導(dǎo)致CPU與內(nèi)存出現(xiàn)協(xié)調(diào)不一致的性能瓶頸問題。同時每個工作節(jié)點(diǎn)處理的中間數(shù)據(jù)量分配不合理，容易導(dǎo)致負(fù)載不均衡，影響系統(tǒng)性能。
　　適用于大數(shù)據(jù)處理的內(nèi)存效率優(yōu)化系統(tǒng)針對MapReduce系統(tǒng)在高性能計算集群中出現(xiàn)的問題，結(jié)合內(nèi)存計算的特性，提出并實現(xiàn)了內(nèi)存資源高效使用的優(yōu)化方案，用于構(gòu)建快速、高效的大數(shù)據(jù)處理平臺。首先，優(yōu)化系統(tǒng)設(shè)計了一種對象復(fù)用的Shuffle機(jī)制，通過復(fù)用文件寫句柄及其附屬對象有效解決了分區(qū)數(shù)量

3、過多時內(nèi)存申請速度過快的問題，確保內(nèi)存的平穩(wěn)使用；其次，優(yōu)化系統(tǒng)建立了一種基于反饋-采樣-決策的任務(wù)分發(fā)機(jī)制，有效協(xié)調(diào)了分區(qū)塊過大時CPU與內(nèi)存的使用關(guān)系，極大地減少了中間數(shù)據(jù)溢出到磁盤的I/O開銷；最后，優(yōu)化系統(tǒng)實現(xiàn)了一種內(nèi)嵌負(fù)載均衡器的任務(wù)調(diào)度機(jī)制，確保每個工作節(jié)點(diǎn)處理的中間數(shù)據(jù)量幾乎一致，并且最大化地減少網(wǎng)絡(luò)傳輸數(shù)據(jù)量。
　　優(yōu)化系統(tǒng)提出的內(nèi)存效率優(yōu)化方案集成在Spark系統(tǒng)上，實現(xiàn)了對用戶的透明，可以完全兼容已有的Spar