基于免疫卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)研究.pdf

1、作為一個新興機(jī)器學(xué)習(xí)研究領(lǐng)域，深度學(xué)習(xí)的概念主要來源于人工神經(jīng)網(wǎng)絡(luò)的研究，目的是在建立可以模擬生物大腦進(jìn)行分析、學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò)。近年來，深度學(xué)習(xí)無論是在理論上還是應(yīng)用上均取得驚人的突破，其原因除了理論上受啟發(fā)于神經(jīng)系統(tǒng)，具有很好的理論支撐，也獲利于高速發(fā)展的互聯(lián)網(wǎng)時代所帶來的紅利，即既為深度學(xué)習(xí)的訓(xùn)練提供了強(qiáng)大的計算機(jī)資源，也為其提供了豐富的訓(xùn)練數(shù)據(jù)。強(qiáng)大的特征逐層自我學(xué)習(xí)能力促使深度學(xué)習(xí)理論交叉研究的深入以及應(yīng)用領(lǐng)域的不斷擴(kuò)大，然

2、而在非平穩(wěn)環(huán)境中大數(shù)據(jù)的多重標(biāo)簽以及目標(biāo)任務(wù)領(lǐng)域標(biāo)注數(shù)據(jù)稀缺等特點(diǎn)要求在獲取深度學(xué)習(xí)訓(xùn)練數(shù)據(jù)時需結(jié)合實(shí)際問題進(jìn)行人工處理等，這在一定程度上限制了深度學(xué)習(xí)發(fā)展。因此研究非平穩(wěn)環(huán)境下的深度學(xué)習(xí)理論及其運(yùn)用成為深度學(xué)習(xí)領(lǐng)域中極具價值和富有挑戰(zhàn)性的熱點(diǎn)方向之一，同時也具有一定的現(xiàn)實(shí)意義。本論文在圖像處理背景下結(jié)合非平穩(wěn)大數(shù)據(jù)的特點(diǎn)深入研究深度學(xué)習(xí)理論、模型及應(yīng)用，主要工作如下：
　?。?）深入研究深度學(xué)習(xí)理論、模型及相關(guān)技術(shù)，主要包括常見

3、的深度學(xué)習(xí)模型，以及數(shù)據(jù)增強(qiáng)和深度神經(jīng)網(wǎng)絡(luò)的可視化等相關(guān)技術(shù)，為下文結(jié)合非平穩(wěn)環(huán)境中大數(shù)據(jù)的特點(diǎn)研究深度學(xué)習(xí)理論提供了技術(shù)支持及理論基礎(chǔ)。同時結(jié)合遷移學(xué)習(xí)研究在非平穩(wěn)環(huán)境中當(dāng)目標(biāo)域有效標(biāo)注數(shù)據(jù)稀少、相關(guān)域標(biāo)注數(shù)據(jù)充足時，通過知識遷移的方式使用相關(guān)域的數(shù)據(jù)特征對目標(biāo)域深度學(xué)習(xí)模型參數(shù)初始化，從而提升模型的性能，為后文基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型提供理論依據(jù)。
　?。?）結(jié)合非平穩(wěn)環(huán)境下大數(shù)據(jù)的多標(biāo)簽特點(diǎn)，提出一種多標(biāo)簽卷積神經(jīng)網(wǎng)絡(luò)

4、模型。卷積神經(jīng)網(wǎng)絡(luò)在圖像處理尤其是圖像分類方面取得領(lǐng)先于傳統(tǒng)技術(shù)的成果，但很少使用相同樣本不同標(biāo)簽之間的隱藏語義，本論文的多標(biāo)簽卷積神經(jīng)網(wǎng)絡(luò)在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入標(biāo)簽語義，提升模型在圖像分類方面的性能。并通過實(shí)驗(yàn)驗(yàn)證了模型在多標(biāo)簽數(shù)據(jù)集上可以取得不錯的效果。CIFAR-100數(shù)據(jù)集上的實(shí)驗(yàn)表明本論文的多標(biāo)簽卷積神經(jīng)網(wǎng)絡(luò)在top-1和top-5分類識別率上平均提高2.3％和2.7%。
　　（3）將深度學(xué)習(xí)理論與人工免疫理論中

5、的人工免疫記憶模型進(jìn)行結(jié)合，提出一種基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型，旨在通過理論交叉研究實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的模型重用。通過計算未知抗原與抗體之間的親和力選擇與未知抗原最匹配的抗體完成卷積神經(jīng)網(wǎng)絡(luò)的重構(gòu)，其中未知抗原是指使用降噪稀疏編碼器提取的有關(guān)待識別圖像的特征，而抗體是指使用卷積神經(jīng)網(wǎng)絡(luò)通過監(jiān)督訓(xùn)練學(xué)習(xí)到的關(guān)于訓(xùn)練數(shù)據(jù)集的特征，主要為卷積核部分。最后結(jié)合實(shí)驗(yàn)結(jié)果對模型進(jìn)行了深入的分析，也為后續(xù)的模型改進(jìn)及課題研究提供了方向和思路。