基于卷積神經(jīng)網(wǎng)絡的注視點檢測.pdf

1、人類在面對復雜場景時會注視最感興趣的區(qū)域，人腦的視覺注意系統(tǒng)可以快速在復雜場景中選定注視位置。注視點檢測系統(tǒng)通過一定的算法模擬人腦視覺系統(tǒng)，判別圖像中每個像素被人眼注視的概率。注視點檢測可以廣泛應用于目標識別、視頻壓縮、視覺跟蹤、圖像分割等復雜任務的預處理環(huán)節(jié)。
　　深度學習近年來在目標檢測，圖像分類等領(lǐng)域取得了很好的效果，這證明了深度學習是計算機視覺領(lǐng)域十分有效的工具和方法。深度學習結(jié)構(gòu)強大的表達能力和復雜特征的提取能力極大地推

2、動了注視點檢測的發(fā)展。
　　本文通過總結(jié)現(xiàn)有的注視點檢測技術(shù)并結(jié)合當今前沿技術(shù)，提出了兩種注視點檢測方法：基于局部評估和全局優(yōu)化的注視點檢測方法和基于雙流卷積神經(jīng)網(wǎng)絡的注視點檢測方法。前者利用已有的神經(jīng)網(wǎng)絡計算的深度特征作為圖像的評估特征，后者是專門的注視點檢測網(wǎng)絡。
　　本文提出的基于局部評估和全局優(yōu)化的注視點檢測方法分為兩大部分：局部評估和全局優(yōu)化。局部評估分為兩種方式：全局學習和具體學習。全局學習指采用整個數(shù)據(jù)庫訓練集

3、合的圖像訓練評估分類器，具體學習利用半耦合字典學習算法，對于每張測試圖像，都能重構(gòu)一個針對此圖像訓練的具體的評估分類器。全局優(yōu)化階段，包括proposal的子集聚類優(yōu)化和全局上下文優(yōu)化。子集聚類優(yōu)化可以減少離群值，增加局部評估的置信度，便于設(shè)計統(tǒng)一的特征來描述整個子集。全局上下文優(yōu)化利用圖像上下文信息，在全局尺度對注視點預測結(jié)果進行重新優(yōu)化，輸出最終的注視點檢測圖。
　　本文提出的另一種基于雙流卷積神經(jīng)網(wǎng)絡的注視點檢測算法是一種端

4、到端的卷積神經(jīng)網(wǎng)絡模型。雙流包括注視點預測流和圖像場景分類流，兩個分支網(wǎng)絡共享整個神經(jīng)網(wǎng)絡的前五個數(shù)據(jù)塊。本文對兩個流同時進行訓練，得到的更加豐富的特征表示有利于兩種任務。多任務學習用來學習注視點檢測和圖像類別的關(guān)系。另外，本文還設(shè)計了一種自適應融合機制來融合語義信息、對比度信息和中心先驗。自適應融合機制利用場景分類網(wǎng)絡的特征來判斷對比特征圖和中心先驗的權(quán)重。
　　本文在MIT300，MIT1003，CAT2000數(shù)據(jù)庫上測試了上