作業(yè)管理系統(tǒng)中基于數(shù)據(jù)感知的調(diào)度子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、由于位于多個(gè)物理位置上的多集群環(huán)境的出現(xiàn),和在這種環(huán)境下對(duì)數(shù)據(jù)訪問(wèn)的限制和對(duì)數(shù)據(jù)管理的缺乏,導(dǎo)致了這種環(huán)境下缺乏對(duì)數(shù)據(jù)敏感型作業(yè)的有效管理。本文所研究的內(nèi)容是開(kāi)發(fā)能夠與LSF作業(yè)管理系統(tǒng)協(xié)作的調(diào)度子系統(tǒng),管理多集群中的數(shù)據(jù)資源并能夠根據(jù)集群中的數(shù)據(jù)資源高效和準(zhǔn)確進(jìn)行作業(yè)調(diào)度。
　　本論文主要是實(shí)現(xiàn)基于數(shù)據(jù)感知的調(diào)度,使作業(yè)在提交到系統(tǒng)后,系統(tǒng)能夠根據(jù)作業(yè)需要的數(shù)據(jù)和系統(tǒng)所掌握的集群中的數(shù)據(jù)信息來(lái)將作業(yè)派遣到集群中合適的計(jì)算結(jié)點(diǎn)上執(zhí)

2、行。為實(shí)現(xiàn)基于數(shù)據(jù)感知調(diào)度,本論文還完成了對(duì)集群中數(shù)據(jù)資源的管理。
　　本論文設(shè)計(jì)和實(shí)現(xiàn)了數(shù)據(jù)集管理模塊、storage管理模塊、緩存管理模塊、配置管理模塊、數(shù)據(jù)傳輸模塊、遠(yuǎn)端數(shù)據(jù)管理模塊和調(diào)度模塊。在數(shù)據(jù)集管理模塊和storage管理模塊中,分別實(shí)現(xiàn)了對(duì)集群中數(shù)據(jù)集和storage的管理功能;在緩存管理模塊中,實(shí)現(xiàn)了對(duì)集群間傳輸?shù)臄?shù)據(jù)的緩存功能,并維護(hù)緩存數(shù)據(jù)的生命周期;在配置管理模塊中,實(shí)現(xiàn)了根據(jù)用戶配置的信息來(lái)進(jìn)行系統(tǒng)信息初

3、始化功能;在數(shù)據(jù)傳輸模塊中,實(shí)現(xiàn)了在集群間傳輸數(shù)據(jù)的功能;在遠(yuǎn)端數(shù)據(jù)管理模塊中,實(shí)現(xiàn)了集群與其他集群間共享數(shù)據(jù)信息的功能;在調(diào)度模塊中,實(shí)現(xiàn)了根據(jù)數(shù)據(jù)信息來(lái)制定調(diào)度決策的功能。通過(guò)以上模塊之間的交互,以及系統(tǒng)與作業(yè)管理系統(tǒng)的協(xié)作,實(shí)現(xiàn)了基于數(shù)據(jù)感知的調(diào)度,使數(shù)據(jù)敏感型作業(yè)能夠完全靠系統(tǒng)內(nèi)部的管理和協(xié)調(diào)而成功運(yùn)行在計(jì)算結(jié)點(diǎn)上。
　　通過(guò)本系統(tǒng)與LSF作業(yè)管理系統(tǒng)的協(xié)作,用戶能夠更專注于作業(yè)的邏輯而不需關(guān)心數(shù)據(jù)的分布,使得數(shù)據(jù)敏感型作