基于負(fù)載均衡的Hadoop動(dòng)態(tài)延遲調(diào)度機(jī)制.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展和眾多數(shù)據(jù)密集型應(yīng)用的普及，互聯(lián)網(wǎng)數(shù)據(jù)規(guī)模呈爆炸式增長(zhǎng)。為了應(yīng)對(duì)大規(guī)模海量數(shù)據(jù)的存儲(chǔ)和處理問(wèn)題，云計(jì)算技術(shù)應(yīng)運(yùn)而生且發(fā)展迅速，Hadoop作為主流的云計(jì)算平臺(tái)而備受關(guān)注，調(diào)度問(wèn)題作為影響Hadoop集群性能的關(guān)鍵因素成為研究的熱點(diǎn)。
　　在云計(jì)算系統(tǒng)平臺(tái)中，由于集群中的各個(gè)節(jié)點(diǎn)通過(guò)網(wǎng)絡(luò)相連，節(jié)點(diǎn)之間有限的帶寬資源往往成為整個(gè)系統(tǒng)的性能瓶頸。因此，如何在公平分配任務(wù)的同時(shí)減少節(jié)點(diǎn)之間的數(shù)據(jù)傳輸成為一個(gè)非常關(guān)鍵

2、的問(wèn)題。根據(jù)“移動(dòng)計(jì)算比移動(dòng)數(shù)據(jù)劃算”的原則，可以在保證各個(gè)作業(yè)公平共享集群計(jì)算資源的前提下，提高數(shù)據(jù)本地性（data-locality，將任務(wù)調(diào)度到其輸入數(shù)據(jù)所在的計(jì)算節(jié)點(diǎn)以減少網(wǎng)絡(luò)傳輸開(kāi)銷），從而提高了系統(tǒng)性能和作業(yè)吞吐量。延遲調(diào)度是常用的提高數(shù)據(jù)本地性和Hadoop集群性能的方法，但現(xiàn)有的延遲調(diào)度算法基于固定的等待時(shí)間，而且沒(méi)有充分考慮集群的負(fù)載均衡。
　　因此，本文提出基于負(fù)載均衡的動(dòng)態(tài)延遲調(diào)度機(jī)制DDS(DynamicD