基于GPU的深度學習算法并行化研究.pdf

1、由于深度學習在圖像識別、語音識別、自然語言處理等領域表現(xiàn)突出，已經(jīng)成為學術界和工業(yè)界的研究熱點。神經(jīng)網(wǎng)絡中通常包含大量可訓練的參數(shù)，因此訓練出一個性能良好的神經(jīng)網(wǎng)絡需要耗費大量時間。另一方面，為了能從海量的數(shù)據(jù)中學習到更有價值的特征，深度神經(jīng)網(wǎng)絡的層次正不斷加深，進一步增加了網(wǎng)絡訓練的耗時。如何提高網(wǎng)絡的訓練速度、縮短網(wǎng)絡的訓練周期已經(jīng)成為深度學習領域的一個重要研究方向。
　　近年來，圖形處理器GPU的通用計算技術得到了迅速的發(fā)展

2、，現(xiàn)在主流GPU的浮點運算能力已經(jīng)是主流CPU的十多倍。GPU由于其強大的并行計算能力、高吞吐量等優(yōu)勢已經(jīng)成為高性能計算領域的主流加速器。
　　基于以上分析，對現(xiàn)有的并行加速算法進行了充分研究后，本文借鑒了將卷積運算展開成矩陣運算的思想，基于CUDA計算框架實現(xiàn)了對深度學習算法的并行加速，進一步提高了GPU的并行效率。本文的主要工作如下:
　　1)分析了神經(jīng)網(wǎng)絡的基本思想、網(wǎng)絡結構，并對傳統(tǒng)人工神經(jīng)網(wǎng)絡中的反向傳播算法進行了

3、詳細研究。重點研究了卷積神經(jīng)網(wǎng)絡的稀疏連接和權值共享的特性，對卷積神經(jīng)網(wǎng)絡中的卷積計算、池化處理以及梯度計算過程進行了詳細完整地推導，為深度神經(jīng)網(wǎng)絡的并行化實現(xiàn)提供理論指導。研究了GPU的硬件性能以及CUDA的線程結構、存儲結構和編程模型。
　　2)采用卷積運算展開成矩陣運算的思想以及ReLu激活函數(shù)等方法，基于CUDA平臺，在GPU上設計并實現(xiàn)了卷積神經(jīng)網(wǎng)絡中的卷積層、采樣層、全連接層和激活層的前向計算、反向傳播以及參數(shù)更新過程

4、，然后給出了神經(jīng)網(wǎng)絡的搭建步驟以及參數(shù)初始化方法，最后描述了神經(jīng)網(wǎng)絡的訓練過程。
　　3)利用已經(jīng)實現(xiàn)的隱藏層分別構建出LeNet-5、CIFAR-10和AlexNet這三種規(guī)模不同的神經(jīng)網(wǎng)絡。然后分別基于MNIST數(shù)據(jù)集、CIFAR-10數(shù)據(jù)集和ImageNet數(shù)據(jù)集在CPU和GPU上對三種神經(jīng)網(wǎng)絡進行訓練，并分析網(wǎng)絡中各網(wǎng)絡層的前向計算和反向傳播時間。三個神經(jīng)網(wǎng)絡在準確率沒有下降的情況下，在GPU上的加速比分別為8.1，33.