Hadoop集群調(diào)度優(yōu)化的研究.pdf

1、近些年云計(jì)算技術(shù)的應(yīng)用越來(lái)越廣泛。由于云計(jì)算技術(shù)在互聯(lián)網(wǎng)行業(yè)中的快速發(fā)展，數(shù)據(jù)的大小和復(fù)雜程度（大數(shù)據(jù)）急劇增加，促使 MapReduce和分布式文件系統(tǒng)，如 HDFS（Hadoop分布式文件系統(tǒng)）成為分布式數(shù)據(jù)應(yīng)用程序的首選模式。云基礎(chǔ)設(shè)施的可擴(kuò)展性顯著提高了其適用性。Hadoop基于MapReduce計(jì)算框架，因而可以高效的處理大數(shù)據(jù)。它的解決方案已經(jīng)被廣泛應(yīng)用于大多數(shù)云供應(yīng)商。Hadoop集群調(diào)度是滿足性能要求的關(guān)鍵因素。Hado

2、op集群調(diào)度將任務(wù)分配到資源上。用可擴(kuò)展的方式分配越來(lái)越多的任務(wù)和資源是一個(gè)相當(dāng)大的挑戰(zhàn)。此外，Hadoop系統(tǒng)的異構(gòu)性會(huì)使挑戰(zhàn)的難度增加。
　　原始的Hadoop任務(wù)調(diào)度算法不能滿足異構(gòu)集群的性能要求。本文研究并分析了比較常用的Hadoop調(diào)度算法的性能。其中包括三種作業(yè)調(diào)度算法：FIFO算法，F(xiàn)airSharing算法，COSHC（Classification and Optimization based on Schedul

3、er for Heterogeneous Clusters）算法，以及一種任務(wù)調(diào)度算法：ATSDA（Adaptive Task Scheduling strategy based on Dynamic workload Adjustment）算法。FIFO算法是大多數(shù)Hadoop集群默認(rèn)的作業(yè)調(diào)度算法。它對(duì)作業(yè)隊(duì)列的分配基于作業(yè)到達(dá)系統(tǒng)的時(shí)間，而忽略系統(tǒng)中的任何異構(gòu)性。FairSharing算法用來(lái)補(bǔ)充FIFO算法在小作業(yè)和用戶的異構(gòu)性

4、處理中缺點(diǎn)的Hadoop集群調(diào)度算法。該調(diào)度算法定義了每個(gè)用戶的池，每個(gè)池由多個(gè)Map任務(wù)和Reduce任務(wù)的資源槽組成。COSHC算法是Hadoop調(diào)度算法考慮系統(tǒng)和用戶的異構(gòu)性做出的調(diào)度決策。通過(guò)使用該系統(tǒng)信息，COSHC將輸入作業(yè)分類，并基于作業(yè)類和資源的功能找到該作業(yè)匹配的資源。
　　在本篇論文中，我所設(shè)計(jì)的綜合調(diào)度優(yōu)化策略對(duì)Hadoop集群的作業(yè)調(diào)度和任務(wù)調(diào)度進(jìn)行優(yōu)化。一、綜合調(diào)度優(yōu)化策略在Hadoop集群作業(yè)調(diào)度中引入

5、混合調(diào)度方法。該方法根據(jù)傳入作業(yè)和可用資源的數(shù)量等信息，動(dòng)態(tài)地選擇FIFO算法，F(xiàn)airSharing算法，COSHC算法中最合適的調(diào)度算法。二、綜合調(diào)度優(yōu)化策略在Hadoop集群任務(wù)調(diào)度中采用ATSDA調(diào)度算法。ATSDA算法為基于動(dòng)態(tài)負(fù)載調(diào)整的自適應(yīng)任務(wù)調(diào)度算法。在ATSDA算法中，TaskTrackers能夠適應(yīng)運(yùn)行時(shí)的負(fù)載變化和自己計(jì)算能力的要求獲得任務(wù)，實(shí)現(xiàn)自律的同時(shí)避開了JobTracker系統(tǒng)性能瓶頸的主要原因：算法的復(fù)雜