面向iVCE云平臺的數據分析任務調度系統(tǒng)的設計與實現(xiàn).pdf

1、隨著大數據時代的到來，對數據的處理能力要求也越來越高。云計算作為一種高效的計算模式，在處理海量數據時有著得天獨厚的優(yōu)勢。各大IT巨頭紛紛推出了自己的云計算平臺，為人們提供高效、快速的服務。此外，很多機構組織也開始搭建私有云平臺，用于處理對安全性有較高要求的數據。因此，如何對任務進行合理、高效地調度，成為如今云計算領域亟待解決的問題。
　　本文提出了以應用評測結果為依據，對任務進行劃分以及資源匹配的任務調度策略，設計并實現(xiàn)了面向iV

2、CE云平臺的數據分析任務調度系統(tǒng)。該系統(tǒng)可對平臺上的數據分析任務進行更加合理地切分，并選擇資源類型與任務資源需求最匹配的節(jié)點來執(zhí)行任務。
　　首先，本文介紹了云計算任務調度的相關理論，包括云計算概述、云計算任務調度的特點以及經典的調度算法。
　　其次，本文設計并實現(xiàn)了面向iVCE云平臺的數據分析任務調度系統(tǒng)。該系統(tǒng)分為應用管理、任務管理、任務調度三個子系統(tǒng)。其中應用管理子系統(tǒng)包括應用注冊以及應用評測，分別負責應用的添加以及對

3、應用的資源消耗和運行狀況進行評測。任務管理子系統(tǒng)包括任務提交、任務劃分、任務隊列管理以及任務狀態(tài)監(jiān)測，任務提交負責用戶添加任務，任務劃分在功能和數據兩個級別分別對任務進行劃分，將大任務變?yōu)楦菀渍{度和執(zhí)行的小任務，任務隊列管理可以滿足調度過程中任務不同狀態(tài)的需求，包括等待任務隊列、就緒任務隊列、掛起任務隊列和重調度任務隊列，任務狀態(tài)監(jiān)測負責實時監(jiān)測任務所處的調度狀態(tài)。任務調度子系統(tǒng)包括資源匹配、任務分配以及任務重調度，資源匹配負責為任務

4、選取合適的執(zhí)行節(jié)點，任務分配負責將任務下發(fā)至執(zhí)行節(jié)點并回收結果，任務重調度負責任務在調度過程中出現(xiàn)異常之后進行再次調度。
　　最后，本文對iVCE云平臺的數據分析任務調度系統(tǒng)從應用評估、任務劃分、任務狀態(tài)監(jiān)測等方面進行測試，并以DNS源IP異常檢測作為數據分析任務的實例在整體上對系統(tǒng)進行測試，結果表明該系統(tǒng)達到設計目標。
　　綜上所述，本文設計并實現(xiàn)了面向iVCE云平臺的數據分析任務調度系統(tǒng)，具備應用管理、任務管理、任務調度