一種Hadoop集群仿真系統(tǒng)的設(shè)計(jì).pdf

1、隨著網(wǎng)絡(luò)和科技的快速發(fā)展，云計(jì)算正在成為21世紀(jì)信息領(lǐng)域最熱門的話題，云計(jì)算雖然發(fā)展迅速，但仍在起步階段，在各種云計(jì)算框架和工具中， Hadoop以其開源性、高拓展性、高可靠性以及高效的性能使其廣受歡迎，并大大的推動(dòng)了云計(jì)算和相關(guān)領(lǐng)域的進(jìn)步。
　　越來越多的企業(yè)已經(jīng)開始基于Hadoop構(gòu)建自己的云計(jì)算系統(tǒng)，并出現(xiàn)了大量的第三方云計(jì)算系統(tǒng)，而對(duì)于大多數(shù)中小企業(yè)以及個(gè)人開發(fā)者而言，不可能有自己的云計(jì)算系統(tǒng)，他們往往將自己的程序運(yùn)行在第

2、三方系統(tǒng)上，并且根據(jù)程序運(yùn)行時(shí)間來付費(fèi)，而在提交程序之前，往往需要進(jìn)行程序性能的評(píng)估從而計(jì)算應(yīng)付的費(fèi)用。即使對(duì)于有自己集群的企業(yè)和機(jī)構(gòu)而言，在正式產(chǎn)品上線之前，也需要對(duì)產(chǎn)品進(jìn)行反復(fù)測(cè)試，以考量自己程序的運(yùn)行時(shí)間，而這些都是不可能在真實(shí)集群上來進(jìn)行的，因此也需要一個(gè)測(cè)試的系統(tǒng)，來評(píng)估程序在Hadoop集群上的運(yùn)行時(shí)間。雖然這幾年也出現(xiàn)了一些云計(jì)算仿真工具，但是卻缺乏Hadoop的仿真工具，在少有的幾款Hadoop仿真工具中，由于較高的抽象

3、以及缺乏配置的靈活性，也使得它們?nèi)狈_度和適應(yīng)性。
　　本文首先介紹了云計(jì)算相關(guān)背景，并深入學(xué)習(xí)了Hadoop架構(gòu)，特別是對(duì)Hadoop的數(shù)據(jù)流和工作流進(jìn)行了深入研究，然后設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)Hadoop的仿真系統(tǒng)，該系統(tǒng)抽象了Hadoop必要的參數(shù)和組件，通過提取作業(yè)的基本信息和集群配置情況，包括Map階段和Reduce階段算法消耗的CPU指令和程序輸入數(shù)據(jù)的大小，以及CPU的運(yùn)行速度和硬盤IO平均速度，就可以算出程序在Map階段

4、和Reduce階段執(zhí)行算法的時(shí)間開銷，然后模擬Hadoop集群的工作流程(包括sort、spill、merge、shuffle等操作)對(duì)元數(shù)據(jù)和作業(yè)信息進(jìn)行處理，最后評(píng)估作業(yè)的運(yùn)行時(shí)間等基本性能，經(jīng)過最后的測(cè)試，也驗(yàn)證了仿真系統(tǒng)具有較高的可靠性和準(zhǔn)確度，另外仿真系統(tǒng)里集群的各種參數(shù)可以由用戶自己配置，使得用戶可以在各種不同配置的集群下評(píng)估自己程序的運(yùn)行時(shí)間，從而找出符合自己程序的最優(yōu)配置，可以大大提高開發(fā)的效率，并有效的節(jié)省能源和開發(fā)成