深度神經(jīng)網(wǎng)絡(luò)可視化技術(shù)研究與應(yīng)用.pdf

1、深度神經(jīng)網(wǎng)絡(luò)雖然在許多模式識(shí)別任務(wù)（如大規(guī)模圖像識(shí)別）中取得了巨大成功，但仍然有很多問題亟待解決。一方面，研究人員發(fā)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)雖然在圖像分類等任務(wù)中性能顯著，但依然會(huì)犯一些人類不會(huì)犯的錯(cuò)誤。另一方面，研究人員也仍然不清楚深度神經(jīng)網(wǎng)絡(luò)是如何從大規(guī)模數(shù)據(jù)中學(xué)習(xí)到有效的特征表示。深度神經(jīng)網(wǎng)絡(luò)的缺陷和它的“黑盒子”特性促進(jìn)了深度可視化技術(shù)的發(fā)展。深度可視化技術(shù)旨在通過以生成圖像的方式來可視化深度神經(jīng)網(wǎng)絡(luò)中的單個(gè)神經(jīng)元、特征映射或者卷積層等所

2、學(xué)習(xí)到的特征表示，幫助理解神經(jīng)網(wǎng)絡(luò)是如何從數(shù)據(jù)中學(xué)習(xí)特征提取，幫助分析提取到的特征有什么優(yōu)缺點(diǎn)，從而幫助設(shè)計(jì)更好的網(wǎng)絡(luò)結(jié)構(gòu)來提升網(wǎng)絡(luò)的優(yōu)點(diǎn)、避免缺點(diǎn)。
　　深度可視化技術(shù)已經(jīng)成為了深度學(xué)習(xí)中一個(gè)學(xué)術(shù)研究熱點(diǎn)，但仍然處于探索階段。本文的主要研究對(duì)象是深度神經(jīng)網(wǎng)絡(luò)中數(shù)以千計(jì)的卷積濾波器。深度神經(jīng)網(wǎng)絡(luò)中不同的濾波器會(huì)從輸入圖像中提取不同特征表示。已有的研究表明低層的卷積核提取了圖像的低級(jí)語義特性（如邊緣、角點(diǎn)），高層的卷積濾波器提取了圖

3、像的高層語義特性（如圖像類別）。但是，由于深度神經(jīng)網(wǎng)絡(luò)會(huì)以逐層復(fù)合的方式從輸入數(shù)據(jù)中提取特征，我們?nèi)匀粺o法像Sobel算子提取的圖像邊緣結(jié)果圖一樣直觀地觀察到深度神經(jīng)網(wǎng)絡(luò)中的卷積濾波器從輸入圖像中提取到的特征表示。
　　本文提出特征映射可視化方法來可視化深度神經(jīng)網(wǎng)絡(luò)中的卷積濾波器從輸入圖像中提取到的特征表示。特征映射可視化會(huì)強(qiáng)化感興趣的卷積濾波器所對(duì)應(yīng)的特征映射，并抑制同層其他濾波器所對(duì)應(yīng)的特征映射，得到調(diào)制碼之后再通過編碼反轉(zhuǎn)方

4、法來生成新圖像，使得新圖像在該層的濾波響應(yīng)與調(diào)制碼相同。生成的新圖像與感興趣的濾波器具有一一映射關(guān)系，能夠反映出該濾波器從輸入圖像中提取到的特征表示。通過特征映射可視化研究我們發(fā)現(xiàn)，深度神經(jīng)網(wǎng)絡(luò)中的每一個(gè)卷積濾波器都從輸入圖像中提取到一種特殊的紋理基元圖像。低層的濾波器提取的紋理基元比較簡(jiǎn)單，顏色單一；高層的濾波器提取的紋理基元比較復(fù)雜，顏色豐富?；谔卣饔成淇梢暬慕Y(jié)果，本文還提出了圖像的紋理模型，并應(yīng)用于圖像風(fēng)格轉(zhuǎn)移和圖像紋理分類任