分布式計(jì)算中批量作業(yè)提交管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著當(dāng)前高能物理實(shí)驗(yàn)規(guī)模不斷擴(kuò)大，數(shù)據(jù)量在急劇地積累，這對于計(jì)算資源形成了巨大的挑戰(zhàn)，而分布式計(jì)算成為解決這一問題不可或缺的資源組織方式。為了滿足實(shí)驗(yàn)數(shù)據(jù)處理和分析的需求，高能物理實(shí)驗(yàn)的資源使用模式逐漸從原來單一的本地集群趨于多元化，形成了本地、網(wǎng)格、云以及志愿計(jì)算等分布式資源并存的現(xiàn)狀，并具有異構(gòu)、異地、多樣性等特點(diǎn)，而對多種后端資源系統(tǒng)的訪問給物理用戶增加了難度。另一方面，實(shí)驗(yàn)數(shù)據(jù)處理和作業(yè)分析具有輸入輸出數(shù)據(jù)量大、任務(wù)耗時(shí)長等特點(diǎn)

2、，需要拆分為批量子作業(yè)分配到廣泛的計(jì)算節(jié)點(diǎn)來加速處理和分析的過程。同時(shí)，高能物理實(shí)驗(yàn)的數(shù)據(jù)處理流程具有共同特點(diǎn)，不同實(shí)驗(yàn)的作業(yè)可以用通用型框架統(tǒng)一處理。
　　為了解決高能物理實(shí)驗(yàn)的分布式計(jì)算模式中底層系統(tǒng)差異以及多個(gè)實(shí)驗(yàn)作業(yè)統(tǒng)一處理等問題，本文設(shè)計(jì)并開發(fā)了一個(gè)用于作業(yè)提交管理的通用前端系統(tǒng)(JSUB)。在JSUB中，不同實(shí)驗(yàn)組的用戶可以通過統(tǒng)一的界面拆分提交作業(yè)，從而減輕了對多實(shí)驗(yàn)作業(yè)的管理壓力。同時(shí)JSUB通過接口和后端資源調(diào)度

3、系統(tǒng)交互，對用戶屏蔽了底層差異性，允許透明地訪問到異構(gòu)資源，降低了用戶使用成本。
　　本文的主要工作如下:
　　(1)分析BESⅢ、CEPC和JUNO等多個(gè)實(shí)驗(yàn)作業(yè)，抽象出作業(yè)的一般處理流程，總結(jié)出系統(tǒng)的功能需求，設(shè)計(jì)系統(tǒng)的功能模塊。
　　(2)對國內(nèi)外相關(guān)工作進(jìn)行調(diào)研，分析并歸納Ganga和ILCDirac等前端系統(tǒng)的設(shè)計(jì)特點(diǎn)，借鑒了部分優(yōu)秀的設(shè)計(jì)思想，并設(shè)計(jì)出該系統(tǒng)的核心組件和基本框架，同時(shí)改進(jìn)了作業(yè)拆分器和工作流

4、等功能。
　　(3)研究DIRAC和HTCondor等多個(gè)后端調(diào)度系統(tǒng)的特點(diǎn)和使用方法，設(shè)計(jì)了前后端交互的接口，為用戶提供統(tǒng)一的操作界面。用戶只需通過定義少量的配置參數(shù)來實(shí)現(xiàn)對需求的切換，不用再關(guān)心各后端的操作指令，后端的差異性也由此被隱藏。
　　(4)基于后端調(diào)度系統(tǒng)的作業(yè)狀態(tài)反饋功能實(shí)現(xiàn)對作業(yè)運(yùn)行的監(jiān)控，將狀態(tài)信息存于本地?cái)?shù)據(jù)庫中，通過用戶動(dòng)作來驅(qū)動(dòng)數(shù)據(jù)庫信息的更新。
　　(5)和元數(shù)據(jù)管理系統(tǒng)交互，實(shí)現(xiàn)在分布式環(huán)

5、境下對目標(biāo)數(shù)據(jù)的快速檢索和訪問，實(shí)現(xiàn)對作業(yè)輸入輸出數(shù)據(jù)的有效管理。
　　JSUB方便了對批量作業(yè)的生命周期的管理，包括拆分、提交、分布式環(huán)境下的運(yùn)行、運(yùn)行狀態(tài)查看、重提交和數(shù)據(jù)集的讀取注冊等過程，能夠滿足作業(yè)處理的基本需求;統(tǒng)一了作業(yè)的處理流程，為用戶提供統(tǒng)一操作界面，具有通用性和易用性;設(shè)計(jì)了一個(gè)通用的作業(yè)提交和管理框架，降低了通用模塊和業(yè)務(wù)數(shù)據(jù)間的耦合度，與實(shí)驗(yàn)相關(guān)的應(yīng)用部分以可擴(kuò)展的形式兼容到系統(tǒng)當(dāng)中，層次清晰，也方便新實(shí)驗(yàn)