基于CUDA加速深度信念網絡的手寫識別系統(tǒng)研究與實現.pdf

1、近年來，深度學習在工業(yè)界的各個領域都發(fā)展迅速，而在手寫識別方面深度學習還未被廣泛使用，因而需要是對深度信念網絡進行研究以提高對手寫字符的識別率。但與此同時，由于深度信念網絡的計算復雜度很高，如果要對大規(guī)模的數據進行訓練，不能只靠單線程來運行該程序，需要更多的考慮其中的并行部分并用多線程實現，以加速其運行速度。
　　本文實現的手寫識別系統(tǒng)，即在CUDA(Compute Unified Device Architecture，計算統(tǒng)一

2、設備架構)架構下對深度信念網絡進行了并行加速，并采用了多種并行技術以達到最優(yōu)的加速比。在保證深度信念網絡可以高效的訓練模型的前提下，本文對深度信念網絡進行了進一步的研究，主要從提高模型對手寫字符識別率，減小模型大小，加快解碼速度，加快訓練速度幾方面對深度信念網絡進行改進。
　　本文首先分析了深度信念網絡并行性，主要從任務并行和數據并行兩方面對算法進行分析，而后利用GPU(Graphics Processing Unit,圖形處理器

3、)的多線程進行并行計算，并采用共享內存、合并訪問、流處理等技術對其并行計算部分進行優(yōu)化?？紤]到深度信念網絡所采用的不同的反饋算法，本文分別用CUDA C實現了共軛梯度下反饋，用CUDA Python實現了隨機梯度反饋。在保證深度信念網絡訓練速度后，本文針對手寫字符數據對算法進行了改進，主要是采用了模型稀疏化、低階轉換、rectify隱藏層以及優(yōu)化共軛梯度下降的方法對深度信念網絡進行優(yōu)化。本文最后根據訓練的模型，對手寫字符進行識別。