情感語(yǔ)音的非線性特征研究.pdf

1、情感語(yǔ)音識(shí)別已經(jīng)成為人機(jī)交互的重要研究領(lǐng)域之一。通過(guò)感知情感狀態(tài)，計(jì)算機(jī)可以對(duì)人類的行為進(jìn)行簡(jiǎn)單地認(rèn)知并采用更為人性化的方式進(jìn)行交流，拓展了人機(jī)交互的更多可能性。情感語(yǔ)音識(shí)別是通過(guò)計(jì)算機(jī)手段從說(shuō)話人的語(yǔ)音信號(hào)中識(shí)別出情感狀態(tài)。鑒于富含情感的溝通對(duì)社會(huì)關(guān)系的重要性，情感語(yǔ)音識(shí)別在人機(jī)對(duì)話、情感計(jì)算、心理和精神疾病診斷等方面都有日趨廣泛的應(yīng)用潛力。由于情感的多模態(tài)性和自發(fā)性，以及情感理論相關(guān)研究的滯后性等多種原因的存在，仍然沒(méi)有建立起完全成

2、熟的情感識(shí)別系統(tǒng)。結(jié)合當(dāng)前的情感語(yǔ)音識(shí)別研究狀況與實(shí)際需要，本文首先對(duì)情感語(yǔ)音數(shù)據(jù)庫(kù)、特征提取以及識(shí)別網(wǎng)絡(luò)部分三個(gè)部分分別進(jìn)行介紹，然后重點(diǎn)對(duì)情感語(yǔ)音特征提取的方法和手段進(jìn)行詳盡的研究和論述，提出了基于語(yǔ)音發(fā)聲機(jī)理混沌特性的新非線性特征，實(shí)驗(yàn)證明了本文提取的非線性特征彌補(bǔ)了以往提取的特征不足之處。主要的研究?jī)?nèi)容包括如下部分：
　　(1)介紹了情感語(yǔ)音識(shí)別的基礎(chǔ)知識(shí)，包括常用的數(shù)據(jù)庫(kù)、特征提取和識(shí)別網(wǎng)絡(luò)。針對(duì)常用的情感特征（韻律特征

3、、基于譜的特征、音質(zhì)特征和TEO能量算子）和識(shí)別網(wǎng)絡(luò)展開了理論簡(jiǎn)介。介紹了語(yǔ)音發(fā)聲和傳播過(guò)程中體現(xiàn)出的非線性特性，接著采用非線性動(dòng)力學(xué)理論分析方法，從功率譜分析、主分量分析、相空間重構(gòu)三個(gè)方面驗(yàn)證了情感語(yǔ)音是具有混沌特性的。
　　(2)在驗(yàn)證了情感語(yǔ)音信號(hào)的混沌特性的基礎(chǔ)上，將情感語(yǔ)音信號(hào)看作一維時(shí)間學(xué)列，采用時(shí)間序列分析方法實(shí)現(xiàn)情感語(yǔ)音的高維狀態(tài)空間的重構(gòu)，為進(jìn)一步提取基于情感語(yǔ)音混沌特性的非線性特征做準(zhǔn)備。為了實(shí)現(xiàn)情感語(yǔ)音的高

4、維空間重構(gòu)，本文分別采用鄰接誤差法、平均互信息法以及C-C方法得到一維情感語(yǔ)音信號(hào)相空間重構(gòu)需要的嵌入維數(shù)和延時(shí)時(shí)間兩個(gè)參數(shù)，為非線性分析方法提取情感語(yǔ)音非線性新特征提供了條件。
　　(3)提出將情感語(yǔ)音信號(hào)處理與非線性動(dòng)力學(xué)模型相結(jié)合的方法并仿真實(shí)現(xiàn)了基于情感語(yǔ)音混沌特性的非線性特征提取。這些特征包括最小延遲時(shí)間、關(guān)聯(lián)維數(shù)、Kolmogorov熵、最大Lyapunov指數(shù)和以及用于描述時(shí)間序列相關(guān)性的Hurst指數(shù)特征，并對(duì)上述

5、的非線性特征與情感區(qū)分能力之間的關(guān)聯(lián)性進(jìn)行了定性分析，通過(guò)實(shí)驗(yàn)驗(yàn)證了基于混沌特性的語(yǔ)音情感非線性特征可以作為語(yǔ)音情感區(qū)分的有效的新特征量。
　　(4)利用基于混沌特性的情感語(yǔ)音非線性特征進(jìn)行了情感語(yǔ)音識(shí)別。首先選擇在公開的Berlin語(yǔ)音數(shù)據(jù)庫(kù)和自建的離散情感語(yǔ)料庫(kù)TYUT2.0作為實(shí)驗(yàn)備選數(shù)據(jù)庫(kù)，然后分別提取了韻律學(xué)特征、MFCCs和非線性特征及其對(duì)應(yīng)的統(tǒng)計(jì)特征，其次對(duì)語(yǔ)音情感非線性特征、韻律學(xué)特征和MFCCs的性能定性分析，確