GPU集群的并行編程通信接口研究.pdf

1、圖形處理器GPU善于處理大規(guī)模密集型數(shù)據(jù)和并行數(shù)據(jù),通用并行架構(gòu)CUDA讓GPU在通用計(jì)算領(lǐng)域越來(lái)越普及。由于GPU集群的高性價(jià)比,高性能計(jì)算領(lǐng)域中GPU集群的使用越來(lái)越普遍,但GPU集群并行編程并沒有一個(gè)標(biāo)準(zhǔn)的通信模型,絕大多數(shù)集群應(yīng)用采取CUDA+MPI的方法實(shí)現(xiàn),而CUDA和MPI編程都非常困難,需要程序員了解GPU硬件架構(gòu)和MPI消息傳遞機(jī)制,顯式控制內(nèi)存與顯存、節(jié)點(diǎn)與節(jié)點(diǎn)間的數(shù)據(jù)傳輸。因此,對(duì)編程人員來(lái)說(shuō),GPU集群并行編程仍

2、是一個(gè)復(fù)雜的問題。
　　GPU集群通信接口CUDAGA結(jié)合分布式內(nèi)存上的共享內(nèi)存編程模型GA與通用并行架構(gòu)CUDA的特征,采用共享顯存方式,通過全局共享地址空間實(shí)現(xiàn)節(jié)點(diǎn)間GPU-to-GPU的數(shù)據(jù)通信,并通過內(nèi)部透明的CPU端臨時(shí)全局?jǐn)?shù)組和GPU端全局?jǐn)?shù)組來(lái)維護(hù)數(shù)據(jù)一致性,保證通信數(shù)據(jù)的正確性。同時(shí),該接口解決了多進(jìn)程多GPU環(huán)境下GPU設(shè)備的初始化問題,并提供GPU集群信息查詢接口及圖形化監(jiān)控界面兩種方式,幫助用戶及時(shí)了解設(shè)備使

3、用情況。此外,CUDAGA從數(shù)據(jù)傳輸和計(jì)算內(nèi)核兩方面對(duì)GA庫(kù)中的數(shù)組運(yùn)算進(jìn)行優(yōu)化,加速后的函數(shù)庫(kù)可供用戶直接使用。CUDAGA為用戶提供了一個(gè)簡(jiǎn)單方便的GPU集群并行編程通信接口,在保證通信性能的同時(shí)簡(jiǎn)化編程難度,提高程序員編寫GPU集群應(yīng)用程序的效率。
　　選取并行矩陣乘Cannon算法和Jacobi迭代算法在GPU集群上的代碼實(shí)現(xiàn)和運(yùn)行為例,對(duì)GPU集群通信接口CUDAGA進(jìn)行測(cè)試。從編程復(fù)雜度與通信性能兩方面的測(cè)試結(jié)果可以看