基于GPU的深度神經(jīng)網(wǎng)絡(luò)模型并行及優(yōu)化方法研究.pdf

1、目前，深度神經(jīng)網(wǎng)絡(luò)在圖像處理、語音識別和自然語言處理領(lǐng)域發(fā)揮著極其重要的作用，然而由于學(xué)習(xí)的數(shù)據(jù)量龐大，直接導(dǎo)致實(shí)驗(yàn)過程中模型的學(xué)習(xí)速度很慢。過去，一般會通過增加機(jī)器數(shù)量來實(shí)現(xiàn)快速學(xué)習(xí)。如今，隨著圖形處理器（Graphics Processing Unit，GPU）的內(nèi)存和計(jì)算能力的提升，越來越多的用到GPU進(jìn)行計(jì)算。但是模型的增大又受到單個(gè)GPU內(nèi)存太小的限制，經(jīng)常因?yàn)楦蟮哪Ｐ驮贕PU上無法儲存，致使在單GPU上不能訓(xùn)練擁有較多參數(shù)

2、的神經(jīng)網(wǎng)絡(luò)。
　　針對當(dāng)前深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練效率低下的問題，提出了在深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的過程中采用多GPU上模型并行訓(xùn)練的方法。為了優(yōu)化模型并行訓(xùn)練，提高模型訓(xùn)練速度，從以下三個(gè)方面進(jìn)行了優(yōu)化。要實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)模型的并行計(jì)算，首先要將一個(gè)計(jì)算模型拆分成兩個(gè)模型分片分別存儲在兩個(gè)GPU上，使兩個(gè)模型能夠在兩個(gè)GPU上并行計(jì)算；優(yōu)化模型并行計(jì)算的順序，在深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的過程中，不同的地方使用不同的并行方案，在深度神經(jīng)網(wǎng)絡(luò)的卷積

3、層中使用數(shù)據(jù)并行，而在全連接層中使用模型并行；再次優(yōu)化模型在訓(xùn)練過程中訪存讀取數(shù)據(jù)的性能，在模型并行結(jié)構(gòu)中加入一個(gè)數(shù)據(jù)轉(zhuǎn)化層來實(shí)現(xiàn)GPU上的數(shù)據(jù)整合或者交換；最后針對訓(xùn)練數(shù)據(jù)集太大的問題我們使用Mini-batch并行訓(xùn)練的方法來優(yōu)化數(shù)據(jù)處理。采用多GPU加速深度神經(jīng)網(wǎng)絡(luò)的模型并行優(yōu)化設(shè)計(jì)方案，同時(shí)結(jié)合在模型并行訓(xùn)練中對數(shù)據(jù)的并行處理，從而實(shí)現(xiàn)了對深度神經(jīng)網(wǎng)絡(luò)模型并行訓(xùn)練的加速。
　　在Linux操作系統(tǒng)以及CUDA的編程環(huán)境下，