Hadoop作業(yè)調(diào)度算法分析與優(yōu)化.pdf

1、隨著技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)的使用人群急劇增長，數(shù)字化信息呈爆炸性增長，大數(shù)據(jù)的分析處理成為研究的熱點(diǎn)。仿照Google公司MapReduce計(jì)算模型和GFS文件系統(tǒng)設(shè)計(jì)思想實(shí)現(xiàn)的Hadoop開源軟件迅速發(fā)展并成為大數(shù)據(jù)處理的首選工具。Hadoop平臺(tái)為用戶提供了方便的編程接口并合理安排用戶作業(yè)的調(diào)度執(zhí)行，用戶只需專注于map和reduce處理過程。作業(yè)調(diào)度器合理安排作業(yè)任務(wù)的執(zhí)行來合理利用集群計(jì)算資源，是Hadoop平臺(tái)的核心模塊之一，

2、目前有FIFO調(diào)度算法、計(jì)算能力調(diào)度算法和公平份額調(diào)度算法三種實(shí)現(xiàn)供選擇使用。FIFO調(diào)度算法思想簡單，易于實(shí)現(xiàn)，但不支持多用戶多作業(yè)共享集群資源，計(jì)算能力調(diào)度算法和公平份額調(diào)度算法實(shí)現(xiàn)了多用戶多作業(yè)對(duì)集群資源的共享，提高系統(tǒng)吞吐率，降低作業(yè)響應(yīng)時(shí)間，但需要系統(tǒng)管理員對(duì)集群資源狀況和用戶和作業(yè)類型有充分了解從而合理進(jìn)行各項(xiàng)配置。
　　本文在介紹國內(nèi)外 Hadoop作業(yè)調(diào)度研究現(xiàn)狀的基礎(chǔ)上，分析 Hadoop現(xiàn)有各調(diào)度算法設(shè)計(jì)思想與

3、調(diào)度策略并針對(duì)公平調(diào)度算法中 slot資源分配方法提出改進(jìn)，然后分析了各調(diào)度算法的優(yōu)缺點(diǎn)并指出現(xiàn)有調(diào)度算法難以正確配置的不足，提出了基于貝葉斯分類的作業(yè)調(diào)度算法，該算法通過貝葉斯學(xué)習(xí)與分類讓作業(yè)在計(jì)算節(jié)點(diǎn)上的運(yùn)行盡可能使計(jì)算節(jié)點(diǎn)不過載，在此基礎(chǔ)上，對(duì)作業(yè)進(jìn)行資源需求分類預(yù)處理，使CPU密集型作業(yè)和I/O密集型作業(yè)得到合理調(diào)度，從而更高效利用計(jì)算資源。主要研究內(nèi)容如下：
　?。?）分析Hadoop中FIFO調(diào)度算法、計(jì)算能力調(diào)度算法

4、和公平調(diào)度算法的算法核心思想、使用配置并給出了偽碼和流程圖形式的算法描述、復(fù)雜度分析和算法特點(diǎn)及優(yōu)缺點(diǎn)分析。同時(shí)，對(duì)公平調(diào)度算法的slot資源分配方法進(jìn)行了改進(jìn)，在原有slot資源分配方法基礎(chǔ)上增加對(duì)剩余slot資源的盡可能平均分配，使得各資源池獲得更為公平的份額。
　?。?）為克服使用現(xiàn)有調(diào)度算法時(shí)難以正確配置的不足，提出基于貝葉斯分類的作業(yè)調(diào)度算法，該算法通過分析作業(yè)任務(wù)執(zhí)行歷史信息將作業(yè)對(duì)資源使用的特征和計(jì)算節(jié)點(diǎn)的資源狀態(tài)特

5、征構(gòu)造貝葉斯分類器，在學(xué)習(xí)作業(yè)任務(wù)執(zhí)行時(shí)資源使用歷史信息將作業(yè)在某計(jì)算節(jié)點(diǎn)分為可調(diào)度和不可調(diào)度兩類，使得作業(yè)任務(wù)在計(jì)算節(jié)點(diǎn)上的執(zhí)行盡可能不使計(jì)算節(jié)點(diǎn)過載，從而提高調(diào)度準(zhǔn)確率并使得計(jì)算資源得到合理使用。
　?。?）為進(jìn)一步提高計(jì)算節(jié)點(diǎn)的資源使用率，將作業(yè)按照資源需求類型情況分為CPU密集型作業(yè)和I/O密集型作業(yè)的預(yù)處理，進(jìn)行分類調(diào)度使得計(jì)算資源得到更充分的利用。
　　（4）結(jié)合實(shí)驗(yàn)對(duì)該算法的作業(yè)任務(wù)調(diào)度準(zhǔn)確率、作業(yè)響應(yīng)時(shí)間、集