全連接神經網絡在FPGA上的實現與優(yōu)化.pdf

1、隨著電子電路領域的飛速發(fā)展，計算機的計算能力得到了大幅提升，深度學習神經網絡再次迎來了飛速發(fā)展的浪潮。全連接神經網絡能夠處理大規(guī)模的數據，提取全部的數據特征，實現大規(guī)模數據的分類，因此，仍在圖像領域有重要應用。全連接神經網絡的訓練過程計算復雜，計算量大，領域專家往往使用計算能力出眾的GPU設備進行訓練;而訓練成功的神經網絡在處理前向過程時，計算相對簡單，因此往往采用FPGA搭載神經網絡的前向推斷過程。雖然FPGA的計算能力難以趕超同時代

2、的GPU加速設備，但其功耗與GPU相比較低，可以計算全連接神經網絡的前向過程。本文提出了一套利用OpenCL在FPGA上高效地實現全連接神經網絡的方案，并利用商用的全連接神經網絡模型，驗證了方案的優(yōu)化效果，為FPGA上利用OpenCL實現神經網絡的設計提供了參考。
　　本文的主要工作和研究成果主要包括:
　　1.全連接神經網絡算法的實現與優(yōu)化。傳統(tǒng)的FPGA開發(fā)利用較為復雜的硬件描述語言，為FPGA的廣泛應用帶來了挑戰(zhàn)。而O

3、penCL定義了完整的框架，開發(fā)者可以利用OpenCL提供的框架針對FPGA進行編程，縮短了開發(fā)周期。本文首先利用OpenCL，在FPGA上實現了全連接神經網絡模型的各計算模塊，并分別針對兩個計算熱點提出了算法實現與優(yōu)化方案:針對全連接層數據規(guī)模大、數據復用率較低、對帶寬要求高的計算特點，本文利用合并偏移量的方式規(guī)整計算任務、通過分組劃分的方式發(fā)掘并行性、同時利用數據復用提升了數據使用效率，降低了訪存壓力;針對較為復雜的激活函數（如Si

4、gmoid函數），本文分析了泰勒級數法、查找表法、分段函數逼近法三種常用的激活函數實現方式，并衡量了FPGA上適宜的方法;針對激活函數的特征，設計了差分查找表的方式實現激活函數，在保證精度的前提下將查找表壓縮，節(jié)約了系統(tǒng)中的存儲空間。
　　2.針對系統(tǒng)特征，提出系統(tǒng)級的優(yōu)化方案。為最大化地利用FPGA系統(tǒng)內的各種資源，本文針對算法實現后的基準系統(tǒng)，根據硬件特征，分析了資源占用情況和流水線、訪存情況，利用數據重排、單指令多數據、多流