基于多通道信息融合的注視點(diǎn)檢測(cè)算法研究.pdf

1、人類視覺系統(tǒng)存在一種視覺注意力機(jī)制，即優(yōu)先關(guān)注和處理圖像的某些局部，而后對(duì)圖像中的其他部分進(jìn)行處理或者不做處理。這種視覺注意機(jī)制很好的解決了輸入信息量和處理信息量之間存在巨大差異的矛盾。顯著性檢測(cè)旨在模擬人的視覺注意力機(jī)制，在復(fù)雜的圖像中選擇出能吸引人眼關(guān)注的區(qū)域，顯著性檢測(cè)技術(shù)在實(shí)際工程應(yīng)用中都有著巨大的發(fā)展?jié)摿蛷V闊的應(yīng)用前景，如圖像分割，自適應(yīng)圖像壓縮，基于內(nèi)容的圖像編輯，目標(biāo)檢測(cè)與識(shí)別，以及圖像檢索等。
　　本文在閱讀大量

2、文獻(xiàn)，研究分析了大量算法，總結(jié)現(xiàn)有的注視點(diǎn)檢測(cè)技術(shù)并結(jié)合當(dāng)今前沿技術(shù)的基礎(chǔ)上，提出了一種新的人眼注視點(diǎn)檢測(cè)算法?？紤]到自然場(chǎng)景圖像的多樣性與人眼的注意力機(jī)制，本文算法采用多通道的檢測(cè)框架，不同的通道對(duì)應(yīng)于不同級(jí)別的信息。在底層信息通道中，本文用底層顏色信息去檢測(cè)圖像中與其他區(qū)域具有強(qiáng)對(duì)比度的區(qū)域。在顯著目標(biāo)檢測(cè)通道中，采用多示例學(xué)習(xí)（MIL）算法與監(jiān)督學(xué)習(xí)分類算法相結(jié)合方式，對(duì)圖像中能吸引人眼關(guān)注的目標(biāo)進(jìn)行檢測(cè)。多示例學(xué)習(xí)算法可以避免監(jiān)

3、督學(xué)習(xí)中樣本選擇的模糊性問題，兩者存在一個(gè)互補(bǔ)的關(guān)系。另外，根據(jù)圖像的內(nèi)容，觀察者或多或少會(huì)傾向于看圖像的中心。考慮到這種傾向，增加了一個(gè)中心偏置通道。為了更科學(xué)地融合這些信息，本文訓(xùn)練了一個(gè)深度神經(jīng)網(wǎng)絡(luò)來判斷各個(gè)通道的檢測(cè)結(jié)果的可靠性。并用網(wǎng)絡(luò)的輸出來確定各個(gè)通道檢測(cè)結(jié)果的融合權(quán)重。最后，本文算法添加了三種語義檢測(cè)器來進(jìn)一步提升效果。
　　本文的主要貢獻(xiàn)：
　?。?）采用多通道的檢測(cè)框架，應(yīng)用高、中、低三個(gè)層次的信息對(duì)注視

4、點(diǎn)進(jìn)行檢測(cè)，針對(duì)于包含各種內(nèi)容的圖像均有不錯(cuò)的檢測(cè)效果；
　　（2）首次將多示例學(xué)習(xí)（MIL）算法應(yīng)用于注視點(diǎn)檢測(cè)中，以確定圖像中的目標(biāo)是否顯著，解決樣本選擇的模糊性問題，彌補(bǔ)了監(jiān)督學(xué)習(xí)中樣本選擇不準(zhǔn)確的問題；
　?。?）提出了一種基于深度學(xué)習(xí)框架的融合多層次信息的新型自適應(yīng)權(quán)重融合方法，使各級(jí)信息的整合變得更加科學(xué)。
　　本文算法在三個(gè)國(guó)際通用的數(shù)據(jù)庫上進(jìn)行了評(píng)估，包括MIT1003，MIT300，以及Toronto