Map Reduce Fair Scheduler的高性能優(yōu)化及超大規(guī)模集群模擬器設(shè)計(jì)及實(shí)現(xiàn).pdf

1、當(dāng)前互聯(lián)網(wǎng)面臨著PB級(jí)數(shù)據(jù)集的存儲(chǔ)和計(jì)算的難題，傳統(tǒng)的單機(jī)內(nèi)存式編程已經(jīng)達(dá)到其瓶頸，而Hadoop正在被越來(lái)越多地用來(lái)處理海量數(shù)據(jù)的分布式存儲(chǔ)和計(jì)算，是一種易擴(kuò)展的分布式計(jì)算框架，將廉價(jià)的PC節(jié)點(diǎn)聯(lián)合起來(lái)提供提供存儲(chǔ)和計(jì)算服務(wù)，其MapReduce框架為用戶提供了容易使用的并行處理大規(guī)模數(shù)據(jù)的編程模型。以此為背景，本文深入分析了MapReduce的工作原理和機(jī)制，以及Hadoop平臺(tái)的主從式系統(tǒng)架構(gòu)。
　　 Facebook在其

2、自身數(shù)據(jù)規(guī)模大，小作業(yè)多，對(duì)作業(yè)響應(yīng)時(shí)間要求高的特點(diǎn)下，設(shè)計(jì)并實(shí)現(xiàn)了MapReduce的公平調(diào)度器，但是在長(zhǎng)時(shí)間的批處理作業(yè)和短時(shí)間的交互型作業(yè)混合的超大集群中，公平調(diào)度器的性能會(huì)嚴(yán)重減弱，也使得公平調(diào)度器普適性不高。本文基于Facebook的公平調(diào)度器，深入分析了其性能瓶頸，指出優(yōu)化難點(diǎn)，并進(jìn)行針對(duì)性的優(yōu)化：(1)延遲調(diào)度策略(2)Shuffle獨(dú)立(3)多任務(wù)分配(4)oob心跳，及其他的一些優(yōu)化，從而解決數(shù)據(jù)本地性差和reduce

3、的計(jì)算資源利用率不高等問(wèn)題，從響應(yīng)時(shí)間和吞吐量?jī)蓚€(gè)方便提高了調(diào)度器性能，并進(jìn)行相應(yīng)的分析。
　　 隨著Hadoop的普及，Hadoop集群的benchmark測(cè)試工具也將越來(lái)越被重視，在此背景下，結(jié)合真實(shí)的線上生產(chǎn)集群，本文設(shè)計(jì)并實(shí)現(xiàn)了超大規(guī)模hadoop集群的模擬器，并對(duì)其功能和性能做了驗(yàn)證性測(cè)試，其主要功能有(1)用1～2臺(tái)服務(wù)器模擬超大規(guī)模集群，(2)模擬客戶端并發(fā)提交作業(yè)，提供全面的benchmark測(cè)試。基于模擬器搭建