融合面部表情的語音情感識(shí)別研究.pdf

1、情感在人類的感知、決策等過程中具有重要作用，人類情感主要通過語言、面部表情、體態(tài)等方式表達(dá)出來。語言是人類交流最普遍、最有效的方式，語音是語言的聲學(xué)表現(xiàn)形式。使得計(jì)算機(jī)在接收到語音信號(hào)后能獲取人的情感信息，感知人類的真正意圖，就是語音情感識(shí)別技術(shù)。同時(shí)人類的情感也通過面部表情變化，如眼睛、眉毛和嘴巴的變化表現(xiàn)出來。通過分析面部表情變化來識(shí)別表情分類的過程稱為面部表情識(shí)別。它是通過提取人臉的表情變化特征，進(jìn)行分析，按照人類通常的認(rèn)識(shí)和思維

2、方式加以歸類和理解，即利用人類所具有的情感信息方面的先驗(yàn)知識(shí)，使計(jì)算機(jī)進(jìn)行理解和判斷，進(jìn)而從人臉信息中去分析識(shí)別人類情感的重要方法。隨著情感識(shí)別研究的不斷深入，在人機(jī)交互、心理學(xué)研究等領(lǐng)域其理論價(jià)值和應(yīng)用前景得到了廣泛認(rèn)可。
　　 目前，依靠語音、表情、生理信號(hào)等單一模態(tài)的情感識(shí)別方法較為普遍，并取得了一定的研究成果。但人類是通過聽覺、視覺、觸覺等多個(gè)通道的信息來表達(dá)情感的，單純依靠語音或者表情等某個(gè)通道的信息來識(shí)別情感，不能融

3、合不同性質(zhì)的情感信號(hào)，達(dá)到信息上的互補(bǔ)，具有很大的局限性，也越來越不能滿足當(dāng)前的實(shí)際研究需求。因此，情感識(shí)別的研究需要沿著多模態(tài)識(shí)別的方向發(fā)展，其中雙模態(tài)的情感識(shí)別研究，可以利用兩通道的信息互補(bǔ)來提高分類器的魯棒性和情感識(shí)別率，是目前我們進(jìn)一步深入情感研究的主要途徑。
　　 為了改進(jìn)目前單模態(tài)的情感識(shí)別研究，本課題提出在基于語音韻律特征的情感識(shí)別研究的基礎(chǔ)上，融入面部表情信息，來提高情感識(shí)別率。首先對(duì)情感進(jìn)行分類，建立包含情感語

4、句與面部表情的情感數(shù)據(jù)庫(kù)。通過對(duì)語音信號(hào)預(yù)處理、提取韻律特征參數(shù)、選擇分類器進(jìn)行識(shí)別，得到單模態(tài)的語音情感識(shí)別結(jié)果。然后處理面部表情信息，經(jīng)過特征提取、融合算法，實(shí)現(xiàn)融合語音及面部表情的雙模態(tài)情感識(shí)別，輸出識(shí)別結(jié)果。本課題主要包括以下幾個(gè)方面的研究?jī)?nèi)容：
　　 第一，通過查閱國(guó)內(nèi)外參考文獻(xiàn)，選擇平靜、高興、驚奇、悲傷和憤怒五種基本情感狀態(tài)。在實(shí)驗(yàn)室環(huán)境下，針對(duì)特定樣本語句，采集普通話語音信號(hào)及說話人的面部表情圖像信息，建立情感數(shù)

5、據(jù)庫(kù)。
　　 第二，對(duì)數(shù)據(jù)庫(kù)中不同情感狀態(tài)的語音信號(hào)進(jìn)行預(yù)處理，提取情感特征參數(shù)，選擇語句發(fā)音持續(xù)時(shí)間、語速、振幅平均值、振幅變化范圍、基頻均值、基頻范圍、基頻變化率、共振峰均值、共振峰范圍、共振峰變化率十個(gè)韻律特征參數(shù)來分析語音情感。利用主元素分析(PCA)法進(jìn)行情感識(shí)別實(shí)驗(yàn)。實(shí)驗(yàn)所得到的語音情感平均識(shí)別率達(dá)到84.4％。
　　 第三，對(duì)表情信息進(jìn)行處理，通過人臉檢測(cè)、定位、光線補(bǔ)償、歸一化、灰度化、高斯平滑等預(yù)處理以