HPC集群環(huán)境下分布式數(shù)據(jù)處理系統(tǒng)研究.pdf

1、Hadoop以其高可用性成為當(dāng)前大數(shù)據(jù)處理使用最廣泛的工具，它是Google MapReduce和GFS的開源實(shí)現(xiàn)。相對(duì)于可用性，Hadoop的運(yùn)行效率容易受到軟硬件環(huán)境的影響。大型IT公司往往部署專門的Hadoop集群，對(duì)軟硬件都進(jìn)行有針對(duì)性的配置，其性能表現(xiàn)較好。然而通過(guò)調(diào)研發(fā)現(xiàn)，很多中小公司、高校的軟硬件配置并不理想；另外，HPC系統(tǒng)的計(jì)算能力很強(qiáng)，但其他資源的配置相對(duì)有限，比如，天河2號(hào)平均單核內(nèi)存不足0.33GB。在這些情況下

2、，Hadoop的性能將大幅降低。
　　適用于HPC集群環(huán)境的分布式數(shù)據(jù)處理系統(tǒng)Mammoth，對(duì)MapReduce的執(zhí)行機(jī)制進(jìn)行了一系列優(yōu)化。首先，Mammoth設(shè)計(jì)并實(shí)現(xiàn)了多線程的Map/Reduce任務(wù)執(zhí)行引擎，在每個(gè)TaskTracker節(jié)點(diǎn)上設(shè)置一個(gè)單獨(dú)的任務(wù)執(zhí)行進(jìn)程，所有的任務(wù)都被調(diào)度到該進(jìn)程中以線程方式執(zhí)行；其次，提取Map任務(wù)和Reduce任務(wù)對(duì)內(nèi)存使用的細(xì)節(jié)特征，根據(jù)這些特征將Map/Reduce任務(wù)更細(xì)粒度地劃分

3、為多個(gè)子階段；再次，實(shí)現(xiàn)全局的內(nèi)存管理，統(tǒng)一管理各個(gè)任務(wù)線程對(duì)內(nèi)存的使用，設(shè)計(jì)自適應(yīng)的內(nèi)存調(diào)度算法，動(dòng)態(tài)分配和回收各個(gè)任務(wù)使用到的內(nèi)存；最后，實(shí)現(xiàn)全局的I/O管理，統(tǒng)一管理各個(gè)任務(wù)線程對(duì)本地磁盤的讀/寫請(qǐng)求，為不同的I/O請(qǐng)求設(shè)置不同的優(yōu)先級(jí)，動(dòng)態(tài)地進(jìn)行I/O調(diào)度。此外，Mammoth通過(guò)在應(yīng)用層管理內(nèi)存塊的分配回收避免了Full GC的開銷，還通過(guò)串行I/O和交錯(cuò)I/O相結(jié)合的方式提高了磁盤速度。
　　Mammoth保持原有Ha