雙模態(tài)情感識別關(guān)鍵技術(shù)研究.pdf

1、人臉表情、語音和身體姿態(tài)是人類最重要的三種情感表達(dá)方式，通過研究這三種情感表達(dá)方式中的一種或幾種，可以有效分析和識別人類的內(nèi)心情感狀態(tài)。近年來，人臉表情識別、語音情感識別、身體姿態(tài)情感識別、基于人臉表情和身體姿態(tài)的雙模態(tài)情感識別、基于人臉表情和語音的雙模態(tài)情感識別以及其他多模態(tài)情感識別已經(jīng)成為計算機(jī)視覺、情感計算、模式識別和社會信號處理等領(lǐng)域的主要研究內(nèi)容，受到了國內(nèi)外研究人員的大量關(guān)注。到目前為止，單模態(tài)情感識別和多模態(tài)情感識別都取得

2、了較多的研究成果，在很大程度上促進(jìn)了情感分析和識別技術(shù)在人類行為分析、公共安全以及早期兒童教育等領(lǐng)域的廣泛應(yīng)用。本論文主要研究了雙模態(tài)情感識別中的特征提取、特征降維和特征融合等關(guān)鍵問題，并討論了情感識別中的特征選擇問題以及噪聲和遮擋問題。本研究主要內(nèi)容包括：
　?、叛芯苛饲楦凶R別中的特征選擇。針對局部保持投影(LPP)方法不能進(jìn)行情感特征選擇的問題，提出了一種基于回歸的稀疏局部保持投影(SLPP)方法，分別用于語音情感識別和人臉表

3、情識別。SLPP方法是在原始LPP方法的最小二乘回歸式子上增加LASSO正則項(xiàng)，來對語音情感特征和人臉表情特征進(jìn)行特征降維和特征選擇。SLPP方法不僅可以刻畫情感特征的內(nèi)在流形結(jié)構(gòu)，還可以去除無用的情感特征，從而提升了情感識別的實(shí)驗(yàn)效果。SLPP方法在JAFFE人臉表情庫、POFA人臉表情庫、Berlin語音情感庫、eNTERFACE'05庫和FAU Aibo情感庫上都取得了較好的實(shí)驗(yàn)效果，其平均識別率高于LPP方法，說明了特征選擇在人

4、臉表情識別和語音情感識別中的有效性。
　?、蒲芯苛饲楦凶R別中的魯棒特征降維。針對傳統(tǒng)LPP方法應(yīng)用于情感識別時缺乏魯棒性的問題，提出了基于回歸的魯棒局部保持投影(RRLPP)方法，來有效處理情感識別中的噪聲和遮擋問題。類似于魯棒主成分分析(RPCA)方法、魯棒回歸(RR)方法和低秩約束線性判別分析(LRLDA)方法，RRLPP方法的基本思想也是通過同時引入情感樣本矩陣的低秩項(xiàng)和稀疏項(xiàng)來克服LPP方法中存在的不足，進(jìn)而提高情感識別的

5、魯棒性。在Multi-PIE人臉表情庫上的測試結(jié)果表明，RRLPP方法可以有效去除人臉表情圖像中的噪聲和遮擋，同時也能取得比非魯棒方法更高的人臉表情識別率。
　?、茄芯苛嘶谝曨l的人臉表情和身體姿態(tài)雙模態(tài)情感識別。提出了一種基于多類典型相關(guān)分析(MCCA)的雙模態(tài)情感識別方法。該方法首先分別提取兩種模態(tài)的Harris空時特征以及情感語義特征，然后采用MCCA方法建立人臉表情Harris空時特征、身體姿態(tài)Harris空時特征和情感語

6、義特征的最小二乘回歸模型，進(jìn)而有效提取兩種模態(tài)的判別信息并實(shí)現(xiàn)特征融合。為了進(jìn)一步提高雙模態(tài)情感識別的準(zhǔn)確性，采用多類核典型相關(guān)分析(MKCCA)融合方法替換MCCA融合方法，提出了一種基于MKCCA的雙模態(tài)情感識別方法。相比于MCCA融合方法，MKCCA是一種非線性融合方法。在FABO雙模態(tài)情感數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果顯示，MCCA融合方法和MKCCA（高斯核）融合方法都能有效地提高人臉表情和身體姿態(tài)雙模態(tài)情感識別效果。
　?、妊芯苛?/p>

7、基于特征層融合的人臉表情和語音雙模態(tài)情感識別。由于提取的人臉表情特征和語音情感特征往往存在噪聲或者冗余，因此會降低雙模態(tài)情感識別率。針對這個問題，提出了一種基于稀疏核減秩回歸(SKRRR)的人臉表情和語音雙模態(tài)情感識別方法。通過增加兩個投影方向的LASSO正則項(xiàng)，SKRRR融合方法可以比KRRR融合方法更加有效地提取人臉表情模態(tài)和語音模態(tài)的相關(guān)情感信息，進(jìn)而在一定程度上提升了雙模態(tài)融合效果。在eNTERFACE'05數(shù)據(jù)庫上，SKRRR