高性能MapReduce系統(tǒng)的優(yōu)化.pdf

1、近年來，以多核集群為主流架構(gòu)的高性能計(jì)算機(jī)成為高性能計(jì)算的主要硬件支撐平臺(tái)。同時(shí)共享變量和消息傳遞是最常用的兩類并行編程模型，但它們對(duì)并行的描述與表達(dá)層次較低。開發(fā)者在使用它們進(jìn)行并行開發(fā)時(shí)，必須花費(fèi)很多時(shí)間和精力來熟悉并顯式地使用它們所提供的各種同步、通信原語。
　　 MapReduce是一種新的并行編程模型，它具有高度抽象、編程接口簡(jiǎn)單的特征。能使程序員在比較高的抽象層次上以一種更易理解和更易使用的方式來表述并行計(jì)算問題。H

2、PMR是中國(guó)科大國(guó)家高性能計(jì)算中心(合肥)為了推廣MapReduce模型而設(shè)計(jì)開發(fā)的面向高性能計(jì)算的MapReduce系統(tǒng)，支持大規(guī)模計(jì)算的任務(wù)分配和自動(dòng)并行。
　　 目前，基于HPMR開發(fā)的并行程序的性能與直接使用MPI編寫的程序相比，還有差距。為了使HPMR更具有實(shí)用性，論文從多個(gè)方面對(duì)其展開優(yōu)化。主要工作如下：
　　 (1)把處理器底層體系結(jié)構(gòu)中分支預(yù)測(cè)與推測(cè)執(zhí)行思想引入到HPMR的通信優(yōu)化中，設(shè)計(jì)了優(yōu)化的通信模型