Hadoop平臺下基于遺傳算法的作業(yè)調(diào)度研究.pdf

1、近幾年來，隨著云計算技術(shù)的不斷發(fā)展，學術(shù)界和工業(yè)界都開始深入云計算技術(shù)的分析和研究，以更好的應對大數(shù)據(jù)時代的到來。Apache的Hadoop作為開源的云計算平臺受到了廣泛的關注。然而，云計算服務提供商也面臨著隨著數(shù)據(jù)量的增加所產(chǎn)生的越來越大、越來越復雜的數(shù)據(jù)處理的問題。尤其是面對著大量的用戶提交的各種類型的數(shù)據(jù)處理任務，怎樣高效地對這些任務進行處理是一個難題，用現(xiàn)有的Hadoop平臺來解決這個難題正變得越來越困難。
　　本文通過深

2、入分析后發(fā)現(xiàn)，傳統(tǒng)的作業(yè)調(diào)度方法嚴格遵照先來先服務的原則，導致后到達的的小任務（占用資源較少）由于等待前面到達的大任務（占用資源較多），導致完成時間時延過長。然而在一般情況下，小任務對響應時間較為敏感，大任務次之。因此，這種方法嚴重影響了用戶體驗。
　　本文把該問題轉(zhuǎn)化為一個組合優(yōu)化問題，綜合考慮資源的高效利用以及兼顧先來先服務兩個因素。本文試圖采用適當?shù)恼{(diào)度策略讓小任務得到快速響應，而不是嚴格的按照先來先服務的策略。在充分研究和

3、比較不同的任務調(diào)度規(guī)劃策略后，本文將該任務調(diào)度問題模型化為一個背包問題，該問題屬于一個復雜的組合優(yōu)化問題，屬于NP問題難度。對于這一類問題，遺傳算法具有尋找最優(yōu)解的獨特優(yōu)勢，因此本文設計了一個采用遺傳算法進行Hadoop任務調(diào)度分配的新型調(diào)度器，該調(diào)度器同時兼顧資源的高效利用和先來先服務公平原則，以犧牲個體的公平性來保證整體的公平性。論文在Hadoop平臺上對新調(diào)度器進行實驗驗證，和現(xiàn)有計算能力調(diào)度器做對比實驗，通過使用系統(tǒng)資源的實時監(jiān)