基于情感特征信息增強(qiáng)的語音情感識(shí)別研究.pdf

1、語音情感識(shí)別(SER;Speech Emotion Recognition)是當(dāng)前研究的熱點(diǎn)之一，旨在通過語音信號(hào)來估計(jì)情感狀態(tài)的情況.語音情感識(shí)別主要的應(yīng)用集中于人機(jī)交互(HCI;Human-Computer Interaction)、自閉癥或抑郁癥的初步診斷、極限環(huán)境下負(fù)面情緒的監(jiān)測(cè)等.然而，由于適用于語音情感識(shí)別的常用特征集(paralinguistic特征)通?？赡芎幸恍┏楦凶R(shí)別外更適合其他任務(wù)的成分，所以在大部分原始特征集

2、上，直接得到對(duì)于識(shí)別語音情感有效的特征較為困難.
　　因此，本文將基于情感特征信息增強(qiáng)的語音情感識(shí)別作為關(guān)鍵問題進(jìn)行研究.基于情感特征信息增強(qiáng)的方法通過綜合考慮訓(xùn)練樣本的信息（如，特征、標(biāo)簽等），構(gòu)建訓(xùn)練學(xué)習(xí)模型.接著，保持并強(qiáng)化該模型中的關(guān)鍵情感特性，并將其用于對(duì)樣本進(jìn)行特征重構(gòu)，生成新的特征.這些經(jīng)過訓(xùn)練學(xué)習(xí)的特征更適用于識(shí)別或估計(jì)等目標(biāo)任務(wù)，從而使系統(tǒng)性能得到提升.
　　但是，由于在特征集中常常存在著大量不利于識(shí)別情感

3、成分的干擾因素，所以不同于特征信息增強(qiáng)中其他一些研究較多的應(yīng)用課題（如，人臉識(shí)別、說話人識(shí)別、語音識(shí)別等），解決語音信號(hào)中的情感識(shí)別問題有著較大的難度.因此，和特征信息增強(qiáng)相關(guān)的已有工作并不一定能夠保證有效地識(shí)別語音中的情感成分，尤其在進(jìn)一步實(shí)用化研究方面.本文中著重研究了作為特性保持思想細(xì)化研究課題之一的子空間學(xué)習(xí)方法，及其衍生出的各種結(jié)構(gòu)，以強(qiáng)化語音中情感特征信息的表達(dá).通過充分的實(shí)驗(yàn)驗(yàn)證，所提出的一系列算法能夠較有效地解決語音情感

4、識(shí)別問題.
　　本文的主要貢獻(xiàn)如下所述:
　　(1)本文在多核子空間學(xué)習(xí)的結(jié)構(gòu)下提出使用多尺度核，以有效地識(shí)別語音中的情感成分.算法在使用Fisher判別嵌入圖的同時(shí)，針對(duì)語音情感識(shí)別提出多尺度Gaussian核，用于構(gòu)建多核學(xué)習(xí)(MKL;Multiple Kernel Learning)中Gram陣的最優(yōu)化線性組合.為評(píng)價(jià)所提出的MS-KFDA(Multiscale-Kernel Fisher Discriminant A

5、nalysis)算法的識(shí)別性能，本文在多個(gè)語音情感數(shù)據(jù)庫上，使用openSMILE中不同公開特征集進(jìn)行了大量實(shí)驗(yàn)驗(yàn)證.實(shí)驗(yàn)結(jié)果表明，所提出的方法相比于常用線性維數(shù)約簡(jiǎn)方法以及單核方法，具有更好的識(shí)別性能.
　　(2)進(jìn)而，本文提出了一個(gè)使用局部懲罰判別分析的多尺度核學(xué)習(xí)方法，即MS-KLPDA(Multiscale-Kernel Locally Penalised Discriminant Analysis)，并將所提出的算法用于

6、識(shí)別語音中的情感成分.在提出的方法中，加入局部懲罰判別分析項(xiàng)來控制邊界樣本對(duì)的權(quán)重，同時(shí)使用多尺度核學(xué)習(xí)的結(jié)構(gòu).通過語音情感數(shù)據(jù)庫上一系列實(shí)驗(yàn)證明，所提出的MS-KLPDA方法在識(shí)別語音中的情感成分時(shí)，識(shí)別性能高于MS-KFDA以及一些常用算法.
　　(3)本文針對(duì)多核子空間學(xué)習(xí)提出了一個(gè)二維的統(tǒng)一框架結(jié)構(gòu)，該結(jié)構(gòu)在多核學(xué)習(xí)的基礎(chǔ)上提供了多個(gè)不含有非負(fù)約束的線性組合，將多核學(xué)習(xí)和二維子空間學(xué)習(xí)相結(jié)合，這樣在學(xué)習(xí)過程中保有了更多的信

7、息.針對(duì)語音情感識(shí)別的應(yīng)用背景，在此框架下使用判別嵌入圖，提出了一個(gè)新算法，即廣義多核判別分析(GMKDA;Generalised Multiple Kernel Discriminant Analysis)，算法中同樣采用所提出框架中提出的附加多核線性組合映射方向.多個(gè)基本的語音情感數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果表明，本文所提出的方法與一些常用方法以及子空間學(xué)習(xí)方法相比，能夠針對(duì)語音情感識(shí)別的應(yīng)用需求，取得更好的識(shí)別性能.
　　(4)本文聯(lián)

8、系極限學(xué)習(xí)機(jī)(ELM;Extreme Learning Machine)和子空間學(xué)習(xí)，提出了統(tǒng)一的廣義譜回歸(GSR;Generalised Spectral Regression)框架，涵蓋了圖嵌入(GE;Graph Embedding)框架下譜回歸(SR;Spectral Regression)的子空間學(xué)習(xí)，以及ELM方法.本文所提出的框架包括三個(gè)模塊:數(shù)據(jù)映射、圖分解、回歸.在數(shù)據(jù)映射階段，可以使用不同的映射方式提供對(duì)于樣本不同視

9、角的觀測(cè);在圖分解階段，設(shè)計(jì)得到的嵌入圖通過譜分解求得虛擬坐標(biāo)，這樣就提供了一種能夠更好描述數(shù)據(jù)結(jié)構(gòu)的途徑;最后，在回歸階段，通過回歸運(yùn)算將虛擬坐標(biāo)同數(shù)據(jù)映射聯(lián)系起來，從而完成對(duì)低維特征的學(xué)習(xí).由該框架，提出了幾種新的維數(shù)約簡(jiǎn)方法用于解決computational paralinguistics問題（如語音情感識(shí)別等）.之后，本文將一些先進(jìn)的算法同所提出的方法在多個(gè)語音情感數(shù)據(jù)庫上進(jìn)行了詳細(xì)的對(duì)比實(shí)驗(yàn).
　　(5)本文提出了基于人