感受野學習模型、方法與應用研究.pdf

1、圖像檢測與識別任務的性能很大程度上取決于特征的表達能力，好的特征應該能丟棄無關信息，并將圖像中與任務相關的要素充分的抽象出來。傳統(tǒng)的描述子受到表達能力的限制，成為圖像檢測與識別任務中的瓶頸。而近年來迅速發(fā)展的特征學習模型能夠從數(shù)據(jù)中學習圖像的特征，將圖像檢測與識別算法的能力推向了一個新的高度。在特征學習算法中，通過對特征的池化（pooling）操作，可以生成一個更有效、包含了重要信息的新特征，同時拋棄一些無關細節(jié)。池化能夠使特征產(chǎn)生一些

2、較為復雜的特性，因此有研究者也將特征學習模型中的池化，與哺乳動物復雜視覺細胞相對應。在神經(jīng)科學中，這些復雜視覺細胞對于輸入信號的響應具有局部性、帯通性和選擇性，上述性質(zhì)也被稱作復雜視覺細胞的感受野。
　　本文的主要工作，圍繞面向圖像檢測和識別任務的特征學習展開，旨在通過對池化模型的改進，進一步地提高特征的表達能力。一些研究者將池化模型上的學習方法稱為感受野學習。本文對特征詞袋（Bag-of-features，BoF）模型和卷積神經(jīng)

3、網(wǎng)絡（Convolutional Neural Networks，CNN）模型上的池化展開研究，主要工作和貢獻包含以下四個方面：
　　1）提高BoF模型的池化特征對于特征圖（feature map）局部空間統(tǒng)計信息的表達能力。首先，通過對于已有池化方案的分析，提出一種空間相似度低的池化區(qū)域方案，降低由于空間區(qū)域相似導致的特征冗余。其次，對于含有不同特征數(shù)量的池化區(qū)域予以區(qū)分。含有特征數(shù)量較多的池化區(qū)域，采用多種聚合運算來生成多個池

4、化特征。最后，在這些池化特征上使用 Fisher核方法，將其在特征空間的分布信息考慮在內(nèi)。這些低冗余、局部統(tǒng)計豐富、包含特征空間信息的池化特征，能夠提高特征的表達能力。
　　2）解決BoF模型在分類任務中包含過多的冗余視覺單詞和池化特征（pooled featue）的問題。針對此問題，本文提出兩種解決方案：第一種在Jia等人的感受野學習算法基礎上，對于分值函數(shù)進行改進，使學習過程能夠盡可能地選擇已使用特征圖上的池化特征，從而減緩特

5、征圖數(shù)量的增長，達到簡化BoF模型特征詞典規(guī)模和池化特征數(shù)量的效果。第二種方案則是在第一種方案基礎上，進一步將視覺單詞和池化特征的選擇分為兩個階段，首先確定重要性較高的視覺單詞，然后選擇這些視覺單詞產(chǎn)生的特征圖中的池化特征。
　　3）提出在全局池化（global average pooling）層學習目標顯著性特征的方法，并在顯著性響應的特征圖上利用結(jié)構(gòu)信息定位人臉池化區(qū)域，形成一個以CNN為基礎的人臉定位與識別的多任務模型。首先

6、，在訓練中使用負樣本對于非人臉區(qū)域產(chǎn)生的響應進行抑制，使學習到的特征僅對于人臉區(qū)域產(chǎn)生響應，獲得關于人臉的顯著性。顯著性學習能夠抑制背景的干擾，提高特征表達在不同數(shù)據(jù)集的適應能力。其次，不同的特征圖之間的顯著性響應存在結(jié)構(gòu)性。為了充分利用這些信息實現(xiàn)對于人臉的定位，本文使用基于部件（part-based）的方案設計模型。改進后的模型能找到更加合適的池化區(qū)域，從而具備一定的人臉對齊功能。最后，將顯著性學習和人臉定位過程作為一個完整模型進行

7、聯(lián)合訓練，使特征學習與人臉定位相互適應。
　　4）提高基于區(qū)域神經(jīng)網(wǎng)絡方法（Region-based Convolutional Neural Networks，R-CNN）中候選區(qū)域的有效性。首先，將顯著性學習同基于區(qū)域的方法相結(jié)合，利用顯著性所提供的目標局部性信息、上下文信息和部件之間的結(jié)構(gòu)信息，對候選區(qū)域進行評分，僅保留那些評分較高的區(qū)域。其次，對于檢測任務中存在整體與部件關系的目標，由于部件之間的高度重疊和相關，使得RPN