自發(fā)表情數(shù)據(jù)庫分析和自發(fā)表情識別研究.pdf

1、心理學(xué)研究指出人的感情主要通過人的面部表情表達(dá)，因此，表情是人類情感交流的重要途徑之一，表情識別研究對于實(shí)現(xiàn)擬人化的人機(jī)交互具有重要的理論和現(xiàn)實(shí)意義。目前的人臉表情識別研究主要針對人為表情，而用戶在鏡頭前按照要求做出的表情，與用戶在日常生活中所表現(xiàn)的自發(fā)表情的產(chǎn)生機(jī)理和外在表現(xiàn)皆不相同。自發(fā)表情研究具有明顯的現(xiàn)實(shí)意義。
　　 本文對自發(fā)表情數(shù)據(jù)庫和自發(fā)表情識別中的若干關(guān)鍵問題進(jìn)行了研究，具體工作如下:
　　 (1)研究自

2、發(fā)表情數(shù)據(jù)庫中表情標(biāo)簽用戶評估的一致性。到目前為止，對于自發(fā)表情數(shù)據(jù)庫中表情標(biāo)簽的用戶評估沒有統(tǒng)一的標(biāo)準(zhǔn)。本文采用Kappa和Kendall和諧系數(shù)對USTC-NVIE數(shù)據(jù)庫中夸張幀和序列表情標(biāo)簽的評估數(shù)據(jù)進(jìn)行了統(tǒng)計分析。分析結(jié)果表明，表情序列比夸張幀包含更多有用信息，多類別的表情強(qiáng)度標(biāo)注優(yōu)于單類別標(biāo)注。
　　 (2)分析自發(fā)表情數(shù)據(jù)庫的偏差。不同的數(shù)據(jù)庫收集方式和標(biāo)注方式不同，這些數(shù)據(jù)庫可變性可能會影響數(shù)據(jù)庫的泛化性能。本文提

3、出一種利用交叉數(shù)據(jù)庫驗(yàn)證分析自發(fā)表情數(shù)據(jù)庫之間的差異。本文分別從夸張幀和序列的角度進(jìn)行偏差分析。首先從自發(fā)表情庫USTC-NVIE、VAM、BELFAST、SEMAINE的夸張幀中提取局部二值模式(Local Binary Patterns)、伽柏(Gabor)、特征臉(Eigenface)和Fisher臉(Fisherface)四種特征，從自發(fā)表情庫UTDALLAS、USTC-NVIE、DEAP、MAHNOB的序列中提取差值Gabor

4、和差值LBP特征，然后分別使用支持向量機(jī)(SVM: Support VectorMachine)和隱馬爾可夫(HMM: Hidden Markov Model)對夸張幀和序列進(jìn)行愉悅度和喚醒度分類識別。實(shí)驗(yàn)結(jié)果表明，不同的自發(fā)表情庫之間存在著偏差，這些偏差影響算法的性能。這些差異性主要來自情緒誘發(fā)的方式，被試者的多樣性、評估者的評估質(zhì)量等。
　　 (3)提出特征級融合可見和紅外表情圖像的自發(fā)表情識別方法。由于可見光對圖像外觀和紋

5、理特征有較大影響，而紅外圖像對光照條件不敏感，因此融合可見和紅外圖像可以彌補(bǔ)可見圖像的不足。首先，分別從可見圖像和紅外圖像中提取紋理特征和溫度統(tǒng)計特征;然后使用方差分析(ANOVA)方法分別從可見特征和紅外特征中選擇最佳的特征子集，將選擇的特征子集拼接成最終的特征向量;最后，采用KNN分類器進(jìn)行表情識別。在USTC-NVIE自發(fā)表情數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果表明融合可見圖像和紅外圖像可以提高負(fù)類表情的識別率，并降低不同類別識別的差異，從而提高表

6、情識別的性能。
　　 (4)提出利用標(biāo)簽之間依賴關(guān)系進(jìn)行多表情識別和多情緒標(biāo)注方法。目前的表情識別和情緒標(biāo)注都是作為單標(biāo)簽問題處理，而實(shí)際是表情、情緒之間存在著共生和互斥關(guān)系，首先，從樣本中提取特征;其次，使用4種傳統(tǒng)的多標(biāo)簽學(xué)習(xí)算法Binary Relevance(BR)，Random k label sets(RAkEL)，BinaryRelevance k Nearest Neighbours(BRkNN)和Multi-L

7、abel k Nearest Neighbours(MLkNN)獲取表情（情緒）的measurement;然后，使用BN結(jié)構(gòu)學(xué)習(xí)算法建立標(biāo)簽間的關(guān)系;最后，結(jié)合傳統(tǒng)方法獲取的measurement和情緒之間的依賴關(guān)系，使用BN進(jìn)行多標(biāo)簽推理。在USTC-NVIE、JAFFE和兩個視頻庫上實(shí)驗(yàn)結(jié)果表明利用簡單關(guān)系的RAkEL方法的識別結(jié)果好于其它3種沒有考慮關(guān)系的方法，本文所提的方法比傳統(tǒng)多標(biāo)簽分類方法在大部分參數(shù)上都有顯著的提高，說明了