語音情感識(shí)別研究與應(yīng)用.pdf

1、隨著計(jì)算機(jī)技術(shù)的發(fā)展，如何讓計(jì)算機(jī)自動(dòng)識(shí)別出人的情感狀態(tài)，使計(jì)算機(jī)能像人一樣進(jìn)行自然、親切和生動(dòng)的交互，是當(dāng)前人工智能、信號(hào)處理和模式識(shí)別等領(lǐng)域研究的一個(gè)新的熱點(diǎn)課題。隨著情感計(jì)算理論研究的深入，基于機(jī)器的情感識(shí)別這一交叉學(xué)科研究正得到心理學(xué)、語言學(xué)、神經(jīng)系統(tǒng)科學(xué)、計(jì)算機(jī)科學(xué)等相關(guān)領(lǐng)域內(nèi)越來越多研究學(xué)者的廣泛關(guān)注。語音信號(hào)傳遞了豐富的情感信息，同時(shí)語音情感識(shí)別使用的交互界面簡(jiǎn)單、不需很多復(fù)雜設(shè)備，在低成本交互系統(tǒng)的實(shí)現(xiàn)上有著巨大的潛力，

2、在遠(yuǎn)程教學(xué)、電子機(jī)器寵物、輔助測(cè)謊、自動(dòng)遠(yuǎn)程電話服務(wù)中心以及臨床醫(yī)學(xué)等方面有著廣闊的應(yīng)用前景。本文針對(duì)語音情感識(shí)別技術(shù)中特征提取、分類器模型、小樣本、工程應(yīng)用等問題，開展關(guān)鍵問題研究，主要完成了以下工作:
　　 (1)傳統(tǒng)的語音情感識(shí)別研究將語音信號(hào)近似為線性短時(shí)平穩(wěn)信號(hào)，用以傅里葉分析為理論基礎(chǔ)的各種信號(hào)分析方法進(jìn)行語音處理和情感識(shí)別。為彌補(bǔ)這種近似分析的缺陷，本文采用針對(duì)非線性和非平穩(wěn)信號(hào)的Hilbert-Huang變換進(jìn)行

3、語音分析，同時(shí)引入非線性Teager能量算子，提出了一種新的譜特征:Hilbert-Teager子帶錐量倒譜系數(shù)(HT-SECC)，實(shí)驗(yàn)結(jié)果表明，HT-SECC特征相比于傳統(tǒng)譜特征MFCC的平均情感識(shí)別率提高了約5.5％。
　　 (2)產(chǎn)生式模型，精于類內(nèi)分布建模，但不能直接優(yōu)化分類結(jié)果，同其分類效果受限于已知樣本數(shù);判別式模型，對(duì)分類結(jié)果的優(yōu)化比較理想，但它不能反映訓(xùn)練數(shù)據(jù)本身的動(dòng)態(tài)特征。針對(duì)這些問題，根據(jù)任何情感都是平靜情感

4、變化而來的特性，提出了層疊式GMM-NBM-MAP/SVM混合模型的語音情感識(shí)別方法，實(shí)驗(yàn)證明該模型較單獨(dú)的GMM(MixtureGaussianmodel)、SVM(SupportVectorMachine)模型分類能力強(qiáng)。
　　 (3)語音是一種短時(shí)平穩(wěn)時(shí)頻信號(hào)，因此大多數(shù)的研究者都通過分幀來提取情感特征，而分幀后提取的特征無法準(zhǔn)確反應(yīng)情感語音全局及動(dòng)態(tài)特性;傳統(tǒng)的融合算法，如投影矩陣特征融合算法，需要計(jì)算大量的獨(dú)立權(quán)值。針

5、對(duì)這些問題，本文先在不分幀的語音信號(hào)里通過多尺度最優(yōu)小波包分解提取語句級(jí)全局特征，分幀后再提取384維的語句級(jí)局部特征，最后提出一種弱尺度融合策略來將這兩種語句級(jí)特征進(jìn)行融合。實(shí)驗(yàn)結(jié)果表明本文方法在小樣本的情況下，語音情感識(shí)別率波動(dòng)較小。
　　 (4)語音情感特征受傳感器位置、遮擋、姿勢(shì)變化影響較小，但是易受環(huán)境噪聲影響，且情感表征性略差;而人臉表情特征具有相反的特性。本文結(jié)合語音情感特征和人臉表情特征用于情感識(shí)別，并取得較好效

6、果。語音提取MFCC(MelFrequencyCepstrumCoefficient)特征，采用SVM作為分類器;人臉表情提取面部標(biāo)記點(diǎn)（視頻提取的圖片序列）均值、方差作為特征，采用GMM-NBM-MAP/SVM混合模型為分類器。最后引入遺傳算法、最大置信度空間等算法對(duì)識(shí)別結(jié)果在決策級(jí)融合。
　　 (5)作為情感識(shí)別的應(yīng)用案例，本文設(shè)計(jì)了基于ARM+DSP的精神撫慰機(jī)器寵物，該寵物主要是通過自動(dòng)檢測(cè)“主人”的情感狀態(tài)，并通過對(duì)話