融合可見圖像和紅外圖像的人臉分析研究.pdf

1、由于人臉分析具有廣泛的應用前景，該研究在近些年來得到了越來越多的關注。目前的人臉分析的工作主要都針對可見圖像。而光照變化影響可見圖片的外觀特征，因此，基于可見圖像的人臉分析方法對于光照的變化不具有穩(wěn)定性。與可見圖像不同的是，熱紅外圖像記錄的是人臉的溫度分布，對光照的變化具有魯棒性，因此研究人員開始關注基于熱紅外圖像上的人臉分析。盡管熱紅外圖像有它的優(yōu)勢，紅外圖像也有一些可見圖像所沒有的缺點，如:易受周圍環(huán)境的溫度的影響等。因此，融合可見

2、圖像和熱紅外圖像的人臉分析有可能充分發(fā)揮兩種圖像的互補作用，具有重要的理論和現(xiàn)實意義。
　　 本文針對可見圖像以及紅外圖像各自的優(yōu)缺點，研究了融合可見圖像和紅外圖像的人臉分析，并提出使用特征學習的方法學習紅外圖像的特征。具體研究內容如下:
　　 (1)提出基于多次運行遺傳算法的融合可見和紅外圖像的自發(fā)表情識別方法。首先，對于可見圖像，提取了主動外觀模型的參數(shù)和三維頭部運動特征來描述可見圖像，而對于紅外圖像，提取了溫度的統(tǒng)

3、計特征;其次，提出基于多次運行遺傳算法的融合方法來為構造K近鄰分類器選擇一個相似性度量函數(shù)和相關特征的最優(yōu)組合。最后，在USTC-NVIE自發(fā)表情數(shù)據(jù)庫上的實驗表明了提出的方法能夠搜索到合適的相似性度量函數(shù)和相關特征。實驗還表明融合方法相對于只使用可見特征的方法的優(yōu)越性。實驗結果表明嘴部和臉頰區(qū)域的溫度變化信息相比于臉部其它區(qū)域信息對于識別自發(fā)表情似乎更可靠。
　　 (2)提出決策層融合和特征層融合可見和紅外圖像的自發(fā)表情識別方

4、法。首先，分別對可見圖像和紅外圖像提取了特征;其次，使用基于F值的方法進行了特征選擇;然后，對提出的兩種分別用于決策層融合和特征層融合的貝葉斯網(wǎng)絡進行參數(shù)化。在USTC-NVIE自發(fā)表情庫上的實驗表明兩種方法均提高了表情識別的識別效果相比于單獨使用某一種特征（可見特征或者紅外特征）時，特別是對于恐懼表情。
　　 (3)提出顯性和隱性融合可見和紅外圖像的性別識別方法。首先，從可見圖像中提取了AAM特征來描述人臉，從紅外圖像中提取了

5、溫度統(tǒng)計特征。然后，根據(jù)F值對提取的特征進行排序和選擇。其次，我們提出使用貝葉斯網(wǎng)絡分別顯性和隱性的融合可見特征和紅外特征。對于顯性融合，使用特征層融合和決策層融合兩種方法來融合可見圖像和紅外圖像，在USTC-NVIE自發(fā)表情庫和Equinox人臉庫上的實驗結果表明兩種顯性融合方法相比于單獨使用某一個模態(tài)的信息對于性別識別效果都有提高。對于隱性融合，利用貝葉斯網(wǎng)絡使用一個模態(tài)的信息作為特權信息來輔助使用另外一個模態(tài)的信息進行性別識別，實

6、驗結果表明了它們的有效性，這對于實際應用是非常有意義的。實驗中特征選擇的結果還表明臉頰和額頭區(qū)域的紅外特征對于性別識別相比與其它臉部區(qū)域更為重要。
　　 (4)提出采用深度玻爾茲曼機(Deep Boltzmann Machines，DBM)的紅外特征學習方法，并將其應用于基于紅外圖像的表情識別。首先，從紅外圖像中定位出人臉并對其進行歸一化。然后，提出一個由一個高斯受限玻爾茲曼機和二進制受限玻爾茲曼機組成的DBM人臉模型。在訓練好

7、DBM模型之后，調整模型用來進行表情識別。為了驗證提出的方法的有效性，本章在從USTC-NVIE庫中挑選出的樣本上進行實驗，實驗結果表明了基于DBM的方法相比于其他基于工程特征方法的優(yōu)勢。得益于DBM模型的生成性，一些阻礙表情識別的不好因素也能夠得到一定程度上的修復，如頭部的旋轉和因頭發(fā)造成的遮擋。實驗中還分析了不同的人臉區(qū)域對于紅外表情識別的影響。結果表明了額頭、嘴巴以及臉頰區(qū)域的信息相比于臉部其他區(qū)域信息對于區(qū)分厭惡、恐懼和高興更為