基于I-O高效性的MapReduce系統(tǒng).pdf

1、當(dāng)今,隨著數(shù)據(jù)的不斷增長,MapReduce計(jì)算框架越來越多的用于海量數(shù)據(jù)的分析和處理。Apache Hadoop是目前最流行的基于MapReduce計(jì)算框架的分布式數(shù)據(jù)處理系統(tǒng)。然而硬件配置之間的發(fā)展鴻溝極大的影響了Hadoop系統(tǒng)的性能。在中小型公司、高校以及高性能計(jì)算中心,這些機(jī)構(gòu)的硬件配置極度的不合理。通過在高性能計(jì)算中心運(yùn)行Hadoop作業(yè)發(fā)現(xiàn):CPU資源不能充分的利用,I/O上存在著很高的響應(yīng)時延。
　　I/O瓶頸是H

2、adoop中一個急需解決的問題。在hadoop作業(yè)整個運(yùn)行的過程中,shuffle階段占據(jù)了大部分時間,也是I/O集中的地方,涵蓋了網(wǎng)絡(luò)I/O和磁盤I/O。特別是對于中間數(shù)據(jù)比較大的應(yīng)用,shuffle階段的運(yùn)行時間基本就是執(zhí)行各種I/O操作的時間。為了改善系統(tǒng)的現(xiàn)狀,推出了Dumbo系統(tǒng)。系統(tǒng)將shuffle階段的各個子階段細(xì)化,并在此基礎(chǔ)上設(shè)計(jì)全局的作業(yè)運(yùn)行流水線,將原有hadoop中reduce數(shù)據(jù)的拉取策略改為map主動推送策略

3、,同時輔助高效的I/O和內(nèi)存管理,將最大限度的緩解Hadoop系統(tǒng)中的I/O瓶頸問題,從而提升系統(tǒng)的整體性能。由于原有hadoop的可用性、容錯性以及可擴(kuò)展性等是經(jīng)過實(shí)踐檢驗(yàn)的,而本系統(tǒng)并未改變hadoop的上層調(diào)度管理策略,因此能過很好的適配Hadoop上的應(yīng)用,屏蔽了對上層應(yīng)用的影響,對于通用的應(yīng)用有很好的性能提升。
　　通過組織有代表性的Hadoop應(yīng)用在本系統(tǒng)上的實(shí)驗(yàn),表明了Dumbo系統(tǒng)對于I/O密集型的應(yīng)用的性能具有極