卷積神經(jīng)網(wǎng)絡(luò)加速器的實(shí)現(xiàn)與優(yōu)化.pdf

1、卷積神經(jīng)網(wǎng)絡(luò)(CNN)已經(jīng)被廣泛應(yīng)用于字符識(shí)別，圖片分類和自然語(yǔ)言理解等領(lǐng)域。由于CNN中特定的計(jì)算方法，因此在通用處理器上效率不高，很難達(dá)到很高的性能。在實(shí)踐中，圖形處理器(GPU)被廣泛應(yīng)用于CNN的訓(xùn)練以及分類任務(wù)中，然而，它們受限于較低的能效收益。除了GPU被應(yīng)用于CNN以外，基于專用集成電路(ASCI)和現(xiàn)場(chǎng)可編程門陣列(FPGA)的CNN加速器也被提出。綜合比較這些平臺(tái)，基于FPGA的加速器因?yàn)榫哂锌芍貥?gòu)性高，開(kāi)發(fā)周期短和能

2、效收益高等優(yōu)點(diǎn)，越來(lái)越受歡迎。
　　但是，使用FPGA來(lái)加速CNN仍然存在很多挑戰(zhàn)。眾所周知，F(xiàn)PGA平臺(tái)主要受限于有限的計(jì)算資源和昂貴的片外內(nèi)存訪問(wèn)。然而，在最先進(jìn)的CNN模型中，存在大量的計(jì)算操作(＞1G)和大量的參數(shù)(＞50M)，這會(huì)消耗大量的能量。隨著技術(shù)的發(fā)展，為了達(dá)到更高的精度，CNN模型會(huì)變得越來(lái)越大，越來(lái)越復(fù)雜，更將加劇這種情況。因此，需要設(shè)計(jì)一個(gè)高能效的CNN加速器。
　　CNN中有多個(gè)卷積層，而在已有的加

3、速器設(shè)計(jì)中，都使用單一的處理引擎來(lái)處理所有的卷積層，這種“一體適用”的方法會(huì)導(dǎo)致硬件資源利用率很低。針對(duì)這個(gè)問(wèn)題，我們?cè)O(shè)計(jì)并實(shí)現(xiàn)了PiPe。在PiPe工作的基礎(chǔ)上，我們發(fā)現(xiàn)卷積層和全連接層的計(jì)算都可以轉(zhuǎn)化成為矩陣乘法計(jì)算，這樣就可以設(shè)計(jì)使用多個(gè)相同的處理引擎來(lái)計(jì)算卷積神經(jīng)網(wǎng)絡(luò)?；谶@個(gè)發(fā)現(xiàn)，我們?cè)O(shè)計(jì)并實(shí)現(xiàn)了UniCNN。具體來(lái)說(shuō)，本文主要做了如下的工作:
　　PiPe:采用流水線方式運(yùn)行的高能效的卷積神經(jīng)網(wǎng)絡(luò)加速器。在該加速器中，

4、包含多個(gè)處理引擎，每一個(gè)處理引擎對(duì)應(yīng)卷積神經(jīng)網(wǎng)絡(luò)中一層的計(jì)算。所有的處理引擎都映射到同一個(gè)FPGA芯片上，這樣不同的層能夠以流水線的方式同時(shí)工作。除此之外，我們還使用了一種方法來(lái)平衡各個(gè)流水線階段。對(duì)于訪存密集型的全連接層，我們采用了剪枝和壓縮存儲(chǔ)的方法，同時(shí)還使用了批處理的方法來(lái)減少所需的內(nèi)存帶寬。作為實(shí)例研究，我們?cè)趦蓧KFPGA開(kāi)發(fā)板，Zedboard和Virtex-7，實(shí)現(xiàn)了AlexNet模型。實(shí)驗(yàn)結(jié)果表明，與已有的CNN加速器相

5、比，PiPe實(shí)現(xiàn)了更高的能效收益。
　　UniCNN:采用統(tǒng)一的處理引擎計(jì)算卷積神經(jīng)網(wǎng)絡(luò)的加速器。在該加速器中，通過(guò)重排輸入特征圖的方法，將卷積層的計(jì)算轉(zhuǎn)化為矩陣乘法計(jì)算;通過(guò)批處理的方法將全連接層的計(jì)算也轉(zhuǎn)化為矩陣乘法計(jì)算;在此基礎(chǔ)上，UniCNN采用了流水線計(jì)算的方法來(lái)優(yōu)化整個(gè)的處理過(guò)程。實(shí)驗(yàn)結(jié)果表明，和已有的CNN加速器相比，UniCNN實(shí)現(xiàn)了更高的計(jì)算資源利用率。
　　在PiPe和UniCNN的基礎(chǔ)上，本文還對(duì)這兩個(gè)