卷積神經(jīng)網(wǎng)絡(luò)的并行化研究.pdf

1、卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetWorks，CNN)算法能夠有效地從原始輸入中學(xué)習(xí)到高階不變性的特征，廣泛應(yīng)用于車牌檢測、人臉檢測、手勢識別、語音識別、圖像復(fù)原和語義分析等領(lǐng)域。目前，CNN算法主要以串行方式實現(xiàn)。串行實現(xiàn)的CNN算法存在兩個主要缺陷:(1)不能發(fā)揮算法內(nèi)在的并行性，導(dǎo)致訓(xùn)練過程需要較長時間;(2)伸縮性不強，使得不能高效地處理數(shù)據(jù)密集型問題。
　　 谷歌提出的并行編程框架MapRedu

2、ce具有良好的擴展性和容錯性，成為當(dāng)前云計算平臺并行處理大規(guī)模數(shù)據(jù)的主流技術(shù)。本文使用MapReduce并行化CNN，并采用GPU加速計算過程，以增強算法的并行性和伸縮性，取得的成果如下:
　　 1.提出利用MapReduce并行化訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的方法(CNN-MR)，并部署到Hadoop云計算平臺。CNN-MR采用數(shù)據(jù)并行的分解方法，將訓(xùn)練樣本劃分給平臺中的每個計算節(jié)點。并使用批量更新的方式，在所有計算節(jié)點處理本地訓(xùn)練樣本結(jié)

3、束之后，節(jié)點之間做一次通信，得到可訓(xùn)練參數(shù)在整個訓(xùn)練集上的全局梯度改變量并更新網(wǎng)絡(luò)，多次迭代，至網(wǎng)絡(luò)收斂到設(shè)定閾值或最大迭代次數(shù)，算法結(jié)束。
　　 2.提出利用GPU加速CNN-MR算法的方法(CNN-MR-G)，并部署到G-Hadoop計算平臺。將CNN每層的特征圖、神經(jīng)元或權(quán)值分別映射到GPU的線程塊、線程，使得同層神經(jīng)元可并行地計算輸出結(jié)果、輸出誤差或權(quán)值的局部梯度改變量。
　　 在手體字數(shù)據(jù)集(MNIST)和自建