基于遷移學(xué)習(xí)的小樣本深度學(xué)習(xí)研究.pdf

1、深度學(xué)習(xí)在人工智能的眾多領(lǐng)域都取得了很好的成績，尤其是在圖像識(shí)別領(lǐng)域，相較于傳統(tǒng)的圖像識(shí)別分類方法，深度學(xué)習(xí)下的卷積神經(jīng)網(wǎng)絡(luò)有著更高的識(shí)別率和更廣泛的實(shí)用性。它不需要針對(duì)特定的任務(wù)對(duì)圖像進(jìn)行人工提取特征，而是模擬人的視覺系統(tǒng)對(duì)原始圖像進(jìn)行層次化的抽象處理，從低層特征映射到高層特征來產(chǎn)生分類結(jié)果。雖然深度學(xué)習(xí)在圖像的識(shí)別分類領(lǐng)域取得了令人矚目的效果，但是其也有很大的局限性。訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)需要大量的有監(jiān)督的圖像樣本集，訓(xùn)練樣本集與測試

2、集要在相同的域中，并且訓(xùn)練周期較長。在很多實(shí)際的圖像識(shí)別任務(wù)中，獲取一個(gè)大數(shù)據(jù)的訓(xùn)練集是非常困難的。如何利用深度學(xué)習(xí)在小樣本圖像數(shù)據(jù)集下取得較高的識(shí)別分類率成為了現(xiàn)階段研究的熱點(diǎn)。
　　本文基于卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別的相關(guān)理論研究，分析了卷積神經(jīng)網(wǎng)絡(luò)的基本模型、方法及應(yīng)用；結(jié)合遷移學(xué)習(xí)的理論，分析研究了遷移學(xué)習(xí)在圖像識(shí)別領(lǐng)域的應(yīng)用。并結(jié)合卷積神經(jīng)網(wǎng)絡(luò)及遷移學(xué)習(xí)，提出了一種在小樣本數(shù)據(jù)集下的混合模型TLCNN-GAP，以獲得在小樣本

3、圖像分類問題中更準(zhǔn)確、更有效的結(jié)果。論文主要工作內(nèi)容如下：
　?。?）整理并總結(jié)了卷積神經(jīng)網(wǎng)絡(luò)的國內(nèi)外研究現(xiàn)狀，介紹了卷積神經(jīng)網(wǎng)絡(luò)的基本原理，詳細(xì)闡述了其基本結(jié)構(gòu)和網(wǎng)絡(luò)參數(shù)，其中卷積層通過卷積運(yùn)算，增強(qiáng)信號(hào)同時(shí)降低噪聲，提高信噪比。降采樣層對(duì)卷積層的圖像進(jìn)行子抽樣，保證在有用信息不降低的基礎(chǔ)上，減少數(shù)據(jù)處理量。分析對(duì)比了當(dāng)下流行的幾種卷積神經(jīng)網(wǎng)絡(luò)框架，分析指出了目前卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)。
　　（2）介紹遷移學(xué)習(xí)的概念，闡述遷

4、移學(xué)習(xí)的國內(nèi)外研究現(xiàn)狀及基本原理。遷移學(xué)習(xí)作為一種運(yùn)用已存在的知識(shí)對(duì)不同但相關(guān)領(lǐng)域問題進(jìn)行求解的新的機(jī)器學(xué)習(xí)方法，結(jié)合深度學(xué)習(xí)進(jìn)行小樣本的車標(biāo)識(shí)別應(yīng)用工作。
　?。?）針對(duì)小樣本圖像的深度學(xué)習(xí)問題，引入遷移學(xué)習(xí)理論，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了一種基于遷移學(xué)習(xí)的混合 CNN模型（TLCNN-GAP），通過遷移學(xué)習(xí)可以使得卷積神經(jīng)網(wǎng)絡(luò)的模型具有復(fù)用性，使得小樣本數(shù)據(jù)集可以利用大的樣本數(shù)據(jù)集訓(xùn)練所得的特征，這些特征相較于直接訓(xùn)練于小樣本數(shù)據(jù)

5、集有著更高的區(qū)分度及魯棒性，利用特征遷移通過固定特征抽取部分參數(shù)，并用全局平均池化代替全連接層。同時(shí)采用了數(shù)據(jù)增強(qiáng)技術(shù)擴(kuò)充小樣本數(shù)據(jù)集的數(shù)量，并引入 Softmax作為分類器，極大程度地解決了由于樣本數(shù)量過少導(dǎo)致的過擬合問題及全連接層參數(shù)過多的問題。
　　本文在Pascal VOC2007和Caltech10數(shù)據(jù)集上提取部分?jǐn)?shù)據(jù)作為我們的小樣本數(shù)據(jù)集，在此數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)以驗(yàn)證所提算法的可行性，并分析了實(shí)驗(yàn)結(jié)果。最終的實(shí)驗(yàn)結(jié)果表明