深度學(xué)習(xí)中卷積網(wǎng)絡(luò)的改進(jìn)算法研究.pdf

1、自2006年以來(lái)，深度學(xué)習(xí)技術(shù)備受矚目。它正在多個(gè)領(lǐng)域如語(yǔ)音識(shí)別、圖像識(shí)別等領(lǐng)域大放異彩，而深度學(xué)習(xí)的卷積網(wǎng)絡(luò)技術(shù)也在計(jì)算機(jī)視覺(jué)領(lǐng)域獨(dú)領(lǐng)風(fēng)騷。目前在深度學(xué)習(xí)中使用最多也最有效的就是卷積神經(jīng)網(wǎng)絡(luò)(CNN)，由于其獨(dú)特的參數(shù)共享的卷積結(jié)構(gòu)，網(wǎng)絡(luò)的表達(dá)能力得以增強(qiáng);除了CNN，在卷積網(wǎng)絡(luò)中還有一種簡(jiǎn)單的卷積網(wǎng)絡(luò)被稱為主成分分析網(wǎng)絡(luò)(PCANet)，該網(wǎng)絡(luò)的特點(diǎn)是只有前向傳播的路徑，沒(méi)有反向傳播這個(gè)過(guò)程，結(jié)構(gòu)較為簡(jiǎn)單，也能堆疊成深度的網(wǎng)絡(luò)。卷積

2、網(wǎng)絡(luò)的問(wèn)題目前主要是計(jì)算量大、硬件條件苛刻、參數(shù)量大、訓(xùn)練過(guò)程緩慢，同時(shí)網(wǎng)絡(luò)的泛化性也不夠好。
　　卷積網(wǎng)絡(luò)PCANet憑借其簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)，因而訓(xùn)練快速并且在識(shí)別任務(wù)中表現(xiàn)良好。本文首先針對(duì)PCANet，結(jié)合人臉識(shí)別的應(yīng)用，提出了關(guān)于該網(wǎng)絡(luò)的改進(jìn)方法，重新構(gòu)造了一種特征提取網(wǎng)絡(luò)LPPNet/LPP PCANet。該網(wǎng)絡(luò)在多個(gè)人臉數(shù)據(jù)集ORL，Yale，AR上驗(yàn)證了該網(wǎng)絡(luò)的有效性。實(shí)驗(yàn)表明，LPPNet在這些數(shù)據(jù)集上表現(xiàn)良好，實(shí)驗(yàn)

3、結(jié)果總體而言比PCANet稍好，同時(shí)遠(yuǎn)比單純使用傳統(tǒng)的人臉識(shí)別算法Laplacianfaces的效果要好，并且在只有較少的訓(xùn)練圖像時(shí)以及表情變化較大時(shí)，LPPNet要明顯優(yōu)于PCANet。
　　而針對(duì)CNN中傳統(tǒng)的卷積過(guò)程計(jì)算慢等問(wèn)題，本文研究了在頻域中通過(guò)不同快速算法計(jì)算卷積的有效性。利用卷積定理在頻域中實(shí)現(xiàn)空域線性卷積被認(rèn)為是一種非常有效的實(shí)現(xiàn)方式。因此本文首先提出一種統(tǒng)一的基于時(shí)域抽取方法的分裂基-2/(2a)1維FFT快速

4、算法，其中a為正整數(shù)，然后在CPU環(huán)境下對(duì)提出的FFT算法對(duì)卷積神經(jīng)網(wǎng)絡(luò)中的加速性能進(jìn)行了比較研究。在兩個(gè)標(biāo)準(zhǔn)的數(shù)據(jù)庫(kù)MNIST和Cifar-10上的實(shí)驗(yàn)表明:使用分裂基-2/(2a)實(shí)現(xiàn)的卷積替代傳統(tǒng)的卷積實(shí)現(xiàn)方式并不會(huì)降低整個(gè)CNN的識(shí)別精度，并且當(dāng)a=2時(shí)，分裂基-2/4能取得令人滿意的提速效果，在以上兩個(gè)數(shù)據(jù)集上分別提速38.56％和72.01％。
　　最后本文針對(duì)CNN中參數(shù)量大的問(wèn)題，結(jié)合低秩矩陣分解，對(duì)Zhang等人

5、新提出的圖像去噪網(wǎng)絡(luò)進(jìn)行了改進(jìn)。值得注意的是，據(jù)文獻(xiàn)檢索，將網(wǎng)絡(luò)壓縮的方法用于深度學(xué)習(xí)圖像去噪網(wǎng)絡(luò)的嘗試尚屬首次。本文成功的運(yùn)用低秩矩陣分解的方法壓縮了該去噪網(wǎng)絡(luò)，并且指出即使降低原始網(wǎng)絡(luò)的深度（17層）至12層仍然能有不遜色的去噪表現(xiàn)。對(duì)于特定噪聲強(qiáng)度的去噪，僅僅用略微的PSNR值上的差異將原始DnCNN去噪網(wǎng)絡(luò)的參數(shù)降低了至少75％，而視覺(jué)效果無(wú)明顯差異;而對(duì)于盲去噪，用不超過(guò)0.5db的PSNR的下降保證了與標(biāo)準(zhǔn)去噪網(wǎng)絡(luò)基本一致的