深度卷積神經(jīng)網(wǎng)絡(luò)中反饋機(jī)制的計(jì)算建模及應(yīng)用研究.pdf

1、當(dāng)前,隨著人工智能技術(shù)的不斷發(fā)展,深度人工神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于人類社會(huì)的各個(gè)領(lǐng)域。特別地,前饋型深度卷積神經(jīng)網(wǎng)絡(luò)(CNNs)在各種計(jì)算機(jī)視覺任務(wù)上已經(jīng)取得了巨大成功。然而,隨著應(yīng)用需求的不斷增加,視覺處理任務(wù)復(fù)雜度不斷提高,依靠簡單前饋方式工作的卷積神經(jīng)網(wǎng)絡(luò)開始滿足不了人們的需求,探索更加類似人類視覺系統(tǒng)的新一代視覺信息處理神經(jīng)網(wǎng)絡(luò)顯得迫在眉睫。來自認(rèn)知神經(jīng)科學(xué)的研究表明,人類的視覺系統(tǒng)由大量的前饋連接、反饋連接和側(cè)向連接構(gòu)成,而反饋連

2、接和側(cè)向連接的數(shù)量遠(yuǎn)遠(yuǎn)大于前饋連接。因此,基于前饋網(wǎng)絡(luò)構(gòu)建有效的反饋機(jī)制具有重要的研究價(jià)值。本文受人類視皮質(zhì)層反饋機(jī)制的啟發(fā),對深度卷積神經(jīng)網(wǎng)絡(luò)中如何構(gòu)建反饋機(jī)制進(jìn)行了深入的研究,提出了有效的反饋機(jī)制計(jì)算模型和運(yùn)行框架,充分?jǐn)U展了深度卷積神經(jīng)網(wǎng)絡(luò)的功能,并成功運(yùn)用于多項(xiàng)計(jì)算視覺任務(wù)中。本文的主要研究工作和貢獻(xiàn)歸納如下:
　　1.在深度卷積神經(jīng)網(wǎng)絡(luò)中,針對反饋機(jī)制的構(gòu)建問題,本文在理論上提出了有效的反饋機(jī)制計(jì)算模型。在面向目標(biāo)識(shí)別的

3、深度卷積神經(jīng)網(wǎng)絡(luò)中,本文給出了反饋機(jī)制的具體數(shù)學(xué)定義,并將反饋機(jī)制建模成一個(gè)優(yōu)化問題,確定了反饋機(jī)制工作運(yùn)行的基本框架。
　　2.針對提出的反饋優(yōu)化問題,本文提出了基于梯度下降法的求解算法,在卷積神經(jīng)網(wǎng)絡(luò)中成功構(gòu)建了一種有效的反饋機(jī)制,實(shí)現(xiàn)了對人類視覺系統(tǒng)中選擇性注意機(jī)制的建模。在大規(guī)模數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了反饋模型能夠有效定位到感興趣目標(biāo)并能有效提升模型識(shí)別能力。
　　3.針對提出的反饋優(yōu)化問題,本文進(jìn)一步提出兩種基于貪

4、心策略的求解算法。本文分析了由兩種不同算法導(dǎo)出的反饋機(jī)制在功能上的差異,提出一個(gè)基于神經(jīng)元篩選和神經(jīng)元視覺信息恢復(fù)的反饋卷積神經(jīng)網(wǎng)絡(luò)新框架。在多個(gè)代表性數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了反饋機(jī)制在弱監(jiān)督目標(biāo)定位與分割任務(wù)上的有效性,同時(shí)也為深度卷積神經(jīng)網(wǎng)絡(luò)的工作原理提供了可視化的解釋。
　　4.為了探索更加類似人類視覺系統(tǒng)的信息處理機(jī)制,本文最后提出了在深度卷積神經(jīng)網(wǎng)絡(luò)中構(gòu)建結(jié)合反饋調(diào)節(jié)信息的新型側(cè)抑制計(jì)算模型?；谠撃Ｐ蛯⑷蝿?wù)導(dǎo)向的選擇性

5、目標(biāo)注意和響應(yīng)導(dǎo)向的顯著性目標(biāo)檢測統(tǒng)一到了一個(gè)分類卷積神經(jīng)網(wǎng)絡(luò)模型中,大規(guī)模數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了所提出模型的有效性。
　　總結(jié)起來,本文在深度卷積神經(jīng)網(wǎng)絡(luò)中將反饋機(jī)制建模成了一個(gè)優(yōu)化問題,并提出了三種不同的求解方法。在成功構(gòu)建反饋連接的基礎(chǔ)上,進(jìn)一步提出了基于反饋與側(cè)抑制機(jī)制聯(lián)合建模的視覺注意模型。本文通過大量的實(shí)驗(yàn)詳細(xì)分析了帶有反饋機(jī)制的卷積神經(jīng)網(wǎng)絡(luò),結(jié)果顯示本文所提出反饋機(jī)制計(jì)算模型極大地增加了深度卷積神經(jīng)網(wǎng)絡(luò)的靈活性,充