基于卷積神經(jīng)網(wǎng)絡(luò)的雙目立體匹配VLSI架構(gòu)設(shè)計(jì).pdf

1、立體視覺利用攝像機(jī)在場景中獲得的二維圖像來重建景物的三維信息，廣泛應(yīng)用于無人機(jī)導(dǎo)航、自動駕駛、3D場景重建等領(lǐng)域。其中雙目立體視覺模擬人類雙眼處理場景的方式，利用雙目攝像機(jī)機(jī)從兩個不同的角度獲取同一景物在不同視角下的圖像，基于三角測量和視差原理，獲取物體的三維幾何信息。本文選擇雙目視覺系統(tǒng)中關(guān)鍵的立體匹配問題展開研究。設(shè)計(jì)了一種基于卷積神經(jīng)網(wǎng)絡(luò)的雙目立體匹配算法的VLSI架構(gòu)，并在FPGA上完成了驗(yàn)證。主要貢獻(xiàn)如下:
　　(1)設(shè)

2、計(jì)基于卷積神經(jīng)網(wǎng)絡(luò)的雙目立體匹配VLSI架構(gòu)。整個架構(gòu)包含多卷積層的卷積神經(jīng)網(wǎng)絡(luò)、5條路徑半全局代價(jià)聚合、視差計(jì)算、視差優(yōu)化等模塊。根據(jù)各個模塊的算法復(fù)雜度，一共采用了2個時(shí)鐘頻率。快時(shí)鐘域用于處理算法復(fù)雜度較高的卷積神經(jīng)網(wǎng)絡(luò)，計(jì)算初始匹配代價(jià);慢時(shí)鐘域用于處理立體匹配算法中復(fù)雜度較低的后3個步驟。利用分時(shí)復(fù)用以及跨時(shí)鐘域等策略，有效的降低了系統(tǒng)的硬件資源消耗。
　　(2)針對包含多卷積層的專用型卷積神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)了一種所有層并行

3、，中間數(shù)據(jù)即出即用，低片上緩存、高吞吐率的流水線型VLSI架構(gòu)。本文對Eyeriss通用型單層卷積層VLSI架構(gòu)設(shè)計(jì)思想進(jìn)行擴(kuò)展，實(shí)現(xiàn)了一個與專用型卷積神經(jīng)網(wǎng)絡(luò)VLSI架構(gòu)具備相近硬件資源的通用型VLSI架構(gòu)。在相同的工作頻率下，擴(kuò)展后的通用型單層卷積層VLSI架構(gòu)的吞吐率是專用型卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的1.58倍，所需的片上緩存大小和數(shù)據(jù)總線帶寬分別為專用型VLSI架構(gòu)的6.5倍和6.3倍。
　　(3)設(shè)計(jì)了斑點(diǎn)濾波、中值濾波、孔洞填

4、充等3個模塊用于視差優(yōu)化階段。相比于傳統(tǒng)的固定窗口的斑點(diǎn)濾波方法，本文采用自適應(yīng)斑點(diǎn)濾波窗口，根據(jù)中心像素點(diǎn)的視差值和所在位置決定濾波窗口的尺寸，進(jìn)一步提高了匹配精度。7×7中值濾波器采用位級比較法，49個數(shù)同時(shí)從最高位逐位比較至最低位，選出濾波窗口內(nèi)的中值。通過比較可發(fā)現(xiàn)，中值濾波窗口越大，位級比較法較普通的快速求中值方法能節(jié)省更多的邏輯資源。
　　基于CNN的雙目立體匹配VLSI架構(gòu)在kitti測試平臺的平均錯誤率為7.74％