高性能計(jì)算中作業(yè)調(diào)度技術(shù)與集群管理系統(tǒng)的研究.pdf

1、計(jì)算科學(xué)從誕生以來(lái)，已經(jīng)在科學(xué)研究、工程技術(shù)以及軍事等方面取得了巨大的成就。在計(jì)算科學(xué)的發(fā)展過(guò)程中，高性能計(jì)算技術(shù)憑借其易用性、靈活性和平臺(tái)無(wú)關(guān)性等特點(diǎn)，在國(guó)內(nèi)外廣受關(guān)注。同時(shí)，高性能計(jì)算也是許多計(jì)算學(xué)科的工具基礎(chǔ)，正因如此，高性能計(jì)算中常用的集群技術(shù)正愈發(fā)受到各科研部門的重視和關(guān)注。
　　集群管理系統(tǒng)主要包括了資源管理、作業(yè)管理和用戶管理，本文主要從高性能計(jì)算的起源、發(fā)展趨勢(shì)以及相比大型機(jī)的優(yōu)勢(shì)所在等方面闡述高性能計(jì)算中資源管理

2、、作業(yè)管理和用戶管理的研究成果。
　　本文主要的工作如下：
　　1、介紹了集群硬件架構(gòu)的發(fā)展過(guò)程，分析了Linux高性能集群系統(tǒng)平臺(tái)的構(gòu)成，闡述了集群中各硬件節(jié)點(diǎn)以及所用網(wǎng)絡(luò)的功能，同時(shí)對(duì)集群中軟件架構(gòu)進(jìn)行了分析；
　　2、以資源管理器Torque與作業(yè)調(diào)度器Maui組合為基礎(chǔ)，結(jié)合監(jiān)控軟件Ganglia，給出利用Python語(yǔ)言在Django框架下開(kāi)發(fā)集群系統(tǒng)管理軟件CCLAB的過(guò)程。
　　3、分析了CCLAB

3、中“作業(yè)調(diào)度”、“集群用戶”和“集群監(jiān)控”三個(gè)Portlet的設(shè)計(jì)開(kāi)發(fā)過(guò)程，給出了CCLAB中URL的設(shè)計(jì)過(guò)程，并分析了文中采用的GPFS并行文件系統(tǒng)、消息傳遞接口(MPI)技術(shù)以及集群遠(yuǎn)程電源管理的工作原理；
　　4、分析了作業(yè)調(diào)度的分類和過(guò)程，根據(jù)作業(yè)調(diào)度器Maui調(diào)度作業(yè)的方式對(duì)作業(yè)調(diào)度進(jìn)行數(shù)學(xué)模型抽象，通過(guò)有向無(wú)環(huán)圖(DAG圖)解釋調(diào)度過(guò)程。在分析了常用的FCFS策略、優(yōu)先級(jí)調(diào)度策略、Firstfit策略、Bestfit策

4、、預(yù)約策略和回填策略優(yōu)缺點(diǎn)的基礎(chǔ)上，改進(jìn)并分析了一種基于節(jié)點(diǎn)負(fù)載情況自定義優(yōu)先級(jí)預(yù)約回填的策略(“BLPRB”策略)，拓展了單、雙策略的研究，并對(duì)其實(shí)現(xiàn)節(jié)點(diǎn)負(fù)載評(píng)估、作業(yè)優(yōu)先級(jí)確定和預(yù)約資源以及回填作業(yè)的過(guò)程進(jìn)行詳細(xì)分析，給出“BLPRB”策略確定預(yù)約作業(yè)最遲執(zhí)行時(shí)間和解決大作業(yè)饑餓問(wèn)題的算法理論分析，最后將該策略集成到Maui調(diào)度器中。
　　在搭建的高性能計(jì)算平臺(tái)上進(jìn)行驗(yàn)證分析，結(jié)果表明BLPRB策略相比Firstfit和FCF