基于CUDA架構(gòu)的深度時(shí)空推理網(wǎng)絡(luò).pdf

1、模式識(shí)別研究的理論和方法在很多科學(xué)和技術(shù)領(lǐng)域中得到了廣泛的重視,深度學(xué)習(xí)系統(tǒng)作為一種模式識(shí)別方法,在過(guò)去幾年受到極大地關(guān)注。目前,多核、眾核處理器已經(jīng)成為計(jì)算設(shè)備的主流,然而,深度學(xué)習(xí)系統(tǒng)的訓(xùn)練時(shí)間較長(zhǎng)的缺陷依然沒(méi)有改善,原因在于深度學(xué)習(xí)系統(tǒng)計(jì)算密度非常高,如何將深度學(xué)習(xí)系統(tǒng)在并行系統(tǒng)中實(shí)現(xiàn)成為一個(gè)非常必要的研究課題。
　　 由于模式識(shí)別涉及到很多復(fù)雜的問(wèn)題,現(xiàn)有的理論和方法對(duì)于解決這些問(wèn)題還有很多不足之處。深度學(xué)習(xí)系統(tǒng)是一種受

2、生物啟發(fā)的方法,主要用于處理高維信號(hào)。眾所周知,高維信號(hào)往往可能涉及到跨度很大的時(shí)空信息,這就使得用一般方法來(lái)表示高維信號(hào)成為一個(gè)極大地挑戰(zhàn)。深度學(xué)習(xí)系統(tǒng)試圖通過(guò)一種分層的架構(gòu)來(lái)克服這一挑戰(zhàn),這一架構(gòu)的每一層都是由大量的具有類似功能的節(jié)點(diǎn)組成。這與目前的主流方法不同,目前主流的方法是對(duì)高維信號(hào)進(jìn)行預(yù)處理,以減少其維度,但這樣做常會(huì)得到一個(gè)次優(yōu)的結(jié)果。
　　 本文詳細(xì)分析了Tesla GPU圖形與計(jì)算架構(gòu)和CUDA統(tǒng)一計(jì)算設(shè)備架構(gòu)

3、,針對(duì)深度信念網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)以及深度時(shí)空推理網(wǎng)絡(luò)這三大典型深度學(xué)習(xí)系統(tǒng)進(jìn)行了研究與討論,給出了深度時(shí)空推理網(wǎng)絡(luò)的數(shù)據(jù)并行形式和CUDA實(shí)現(xiàn)方案,在Tesla上實(shí)現(xiàn)了基于CUDA架構(gòu)的深度時(shí)空推理網(wǎng)絡(luò)的MNIST手寫數(shù)字識(shí)別,訓(xùn)練時(shí)間只有913秒(約15分鐘),而傳統(tǒng)的深度時(shí)空推理網(wǎng)絡(luò)在2.4GHz的CPU上訓(xùn)練需要48小時(shí),速度提高了約192倍,以測(cè)試結(jié)果驗(yàn)證了并行算法的設(shè)計(jì)。
　　 本文提出的深度時(shí)空推理網(wǎng)絡(luò)的CUDA并行