Hadoop任務(wù)調(diào)度算法本地性優(yōu)化研究.pdf

1、隨著互聯(lián)網(wǎng)，移動互聯(lián)網(wǎng)的飛速發(fā)展，接入的數(shù)據(jù)終端和用戶的爆炸性增長，數(shù)據(jù)量也是指數(shù)性的增加，這就給了傳統(tǒng)的數(shù)據(jù)處理方式帶來了很大困難。因為在傳統(tǒng)數(shù)據(jù)處理上，數(shù)據(jù)往往在一個終端處理，這是一種集約化的處理方式，這樣對于一個大數(shù)據(jù)來說，處理就需要相當長的時間，這顯然是不合理的。相比于傳統(tǒng)數(shù)據(jù)處理方式，云計算有諸多優(yōu)勢，如超大規(guī)模、虛擬化、高可靠性、通用性、高可伸縮性、按需服務(wù)、極其廉價，因此云計算也得到了空前發(fā)展。在此背景之下，Apache

2、Lucene的創(chuàng)始人Doug Cutting創(chuàng)建了Hadoop， Hadoop基于Google發(fā)表了三大論文：MapReduce[2]、Google File System[3]和Big Table[4]，這是一種與集約化完全不同的分布式處理方式。在之后的Hadoop2.x中YARN(Yet Another Resource Negotiator)取代了MapReduce成為了Hadoop的計算模型。隨著云計算的飛速發(fā)展，Hadoop開

3、源框架也經(jīng)歷了多個版本，因此Hadoop的資源管理系統(tǒng)也轉(zhuǎn)變?yōu)閅ARN，作業(yè)調(diào)度也越來越完善。在Hadoop的調(diào)度算法研究中，存在多個方面的研究方向，但數(shù)據(jù)本地性一直是重中之重。同時在Hadoop實際企業(yè)運用當中，實際的作業(yè)大多是小作業(yè)，這些小作業(yè)會存在本地性差的問題，作業(yè)數(shù)據(jù)經(jīng)常性的在集群中傳輸容易造成集群網(wǎng)絡(luò)擁堵和延遲，因此特別需要提高其數(shù)據(jù)的本地性。
　　在Hadoop中我們在相關(guān)研究的基礎(chǔ)上引入了數(shù)據(jù)本地性算法。該算法已被

4、證明能在基本保證響應(yīng)時間和執(zhí)行時間的基礎(chǔ)之上很好的提高數(shù)據(jù)的本地性，利于小作業(yè)較多的集群。算法的核心思想是權(quán)衡任務(wù)的等待時間和傳輸時間來決定任務(wù)是否在本地執(zhí)行。為了實現(xiàn)上述目標，本文詳細介紹了YARN中調(diào)度器的原理，對其基本架構(gòu)、調(diào)度策略、搶占模式做了詳細說明。同時本文改進了數(shù)據(jù)本地性算法，在該算法當中加入了匹配機制，當一次匹配不成功時標記請求的節(jié)點，在下一次調(diào)度時則取消評估等待時間和傳輸時間，直接分配任務(wù)給該節(jié)點。本文將改進的數(shù)據(jù)本地