基于SLA的MapReduce調(diào)度機(jī)制研究.pdf

1、MapReduce作為一種有效的數(shù)據(jù)分析和處理解決方案已被廣泛應(yīng)用于大規(guī)模數(shù)據(jù)處理領(lǐng)域。隨著MapReduce應(yīng)用的擴(kuò)大，越來越多的服務(wù)提供商對(duì)外提供MapReduce商業(yè)服務(wù)。服務(wù)提供商通過運(yùn)行MapReduce作業(yè)實(shí)現(xiàn)一系列業(yè)務(wù)邏輯，最終將數(shù)據(jù)分析和處理結(jié)果返回給用戶。為保證雙方權(quán)益，用戶與服務(wù)提供商之間簽訂服務(wù)水平協(xié)議(SLA)，服務(wù)提供商必須遵循SLA，滿足作業(yè)響應(yīng)時(shí)間等性能需求，否則可能收到違約處罰。因此，如何有效的進(jìn)行作業(yè)及

2、任務(wù)調(diào)度以滿足用戶的SLA已成為服務(wù)提供商關(guān)注的問題。
　　SLA的差異性和集群的共享性為解決這一問題帶來了諸多挑戰(zhàn)。1）用戶需求的不同，造成了作業(yè)類型的多樣化，集群中可能同時(shí)運(yùn)行著即席查詢作業(yè)，處理生產(chǎn)型的大作業(yè)、機(jī)器學(xué)習(xí)型作業(yè)等，即使處理同一數(shù)據(jù)集，也可能出現(xiàn)短交互式作業(yè)和長(zhǎng)批量作業(yè)混雜的復(fù)雜場(chǎng)景，相應(yīng)地，用戶對(duì)SLA中作業(yè)響應(yīng)時(shí)間也就有著迥然相異的要求。2）服務(wù)提供商為節(jié)約構(gòu)建獨(dú)立集群和跨集群數(shù)據(jù)復(fù)制帶來的網(wǎng)絡(luò)和存儲(chǔ)成本，使

3、得MapReduce集群在多用戶群組間共享，但同時(shí)也造成作業(yè)性能容易受到其他并發(fā)作業(yè)的影響，給滿足用戶的SLA增添了挑戰(zhàn)。
　　現(xiàn)有的MapReduce調(diào)度機(jī)制重點(diǎn)關(guān)注集群資源在用戶間的公平共享，或者通過基于優(yōu)先級(jí)的策略進(jìn)行資源分配和調(diào)度。但是這些調(diào)度機(jī)制缺乏對(duì)用戶SLA的感知，作業(yè)優(yōu)先級(jí)難以體現(xiàn)用戶SLA具體的差異，粒度過大，無法建立優(yōu)先級(jí)和用戶SLA間準(zhǔn)確的映射關(guān)系。同時(shí)，還缺乏對(duì)集群運(yùn)行狀態(tài)和作業(yè)執(zhí)行狀態(tài)動(dòng)態(tài)變化的感知，從而

4、無法準(zhǔn)確而有效的滿足用戶的SLA。
　　針對(duì)上述問題和挑戰(zhàn)，本文從作業(yè)性能模型構(gòu)建、作業(yè)級(jí)調(diào)度和任務(wù)級(jí)調(diào)度優(yōu)化等幾個(gè)方面著手，提出了基于SLA的MapReduce調(diào)度機(jī)制。本文的主要工作和成果包括:
　　1.提出基于SLA的MapReduce調(diào)度架構(gòu)，引入可插拔的調(diào)度支持節(jié)點(diǎn)，從作業(yè)級(jí)和任務(wù)級(jí)兩個(gè)層次對(duì)用戶的SLA提供靈活支持，并給出了該架構(gòu)下動(dòng)態(tài)自適應(yīng)的作業(yè)性能模型，該模型基于歷史記錄、集群和作業(yè)運(yùn)行狀態(tài)，準(zhǔn)確地預(yù)測(cè)和判斷

5、是否可能出現(xiàn)SLA作業(yè)響應(yīng)時(shí)間上限違例的情況。
　　2.針對(duì)用戶SLA的差異性，結(jié)合作業(yè)性能模型，提出基于SLA的兩階段作業(yè)調(diào)度機(jī)制，該機(jī)制預(yù)測(cè)滿足用戶SLA所需的最小資源量以及作業(yè)預(yù)期邊際收益，據(jù)此實(shí)現(xiàn)集群資源劃分，進(jìn)行作業(yè)調(diào)度以最大限度地滿足用戶的SLA，避免集群閑置資源的盲目分配，并提高服務(wù)提供商可能獲得的全局收益。
　　3.在作業(yè)級(jí)調(diào)度策略的基礎(chǔ)上，提出感知數(shù)據(jù)分布的任務(wù)分配優(yōu)化機(jī)制，盡可能減少組成作業(yè)的若干任務(wù)執(zhí)行