普通話語(yǔ)音情感識(shí)別關(guān)鍵技術(shù)研究.pdf

1、自然人機(jī)交互技術(shù)是當(dāng)前計(jì)算機(jī)應(yīng)用技術(shù)研究的重要方向。語(yǔ)音識(shí)別是實(shí)現(xiàn)人機(jī)交互的重要途徑，而語(yǔ)音的情感識(shí)別對(duì)于實(shí)現(xiàn)人機(jī)的自然交互更是至關(guān)重要。近年來(lái)隨著心理學(xué)、生理學(xué)、神經(jīng)科學(xué)和計(jì)算機(jī)技術(shù)及與之相關(guān)的模式識(shí)別技術(shù)的發(fā)展，情感計(jì)算，特別是語(yǔ)音的情感識(shí)別研究，作為計(jì)算機(jī)科學(xué)的一個(gè)重要領(lǐng)域在理論和應(yīng)用上都取得了長(zhǎng)足進(jìn)步。在情感的定義與分類、情感關(guān)聯(lián)的聲學(xué)特征及相關(guān)的分類模型研究上提出了不同的技術(shù)和方法，發(fā)展了多個(gè)語(yǔ)種的情感識(shí)別研究，初步建立起語(yǔ)音

2、情感識(shí)別的框架體系。但隨著人們對(duì)語(yǔ)音情感識(shí)別的要求越來(lái)越高，各種情感識(shí)別方面的應(yīng)用需求提上日程，目前現(xiàn)有的技術(shù)與方法已經(jīng)不能滿足需求，特別是漢語(yǔ)普通話語(yǔ)音情感識(shí)別的研究相對(duì)較少，這就需要我們加快工作步伐，填補(bǔ)這方面的空白。 普通話語(yǔ)音的情感識(shí)別技術(shù)目前主要面臨四大關(guān)鍵技術(shù)問(wèn)題：普通話語(yǔ)音情感語(yǔ)料庫(kù)問(wèn)題，亟待建立一個(gè)在數(shù)量、質(zhì)量、管理和多樣性等方面滿足研究要求的普通話情感語(yǔ)音庫(kù)；情感的聲學(xué)關(guān)聯(lián)特征問(wèn)題，尋求一組抗干擾能力強(qiáng)，與情感

3、狀態(tài)緊密相關(guān)的聲學(xué)特征向量；小樣本問(wèn)題，減少由于說(shuō)話人和文本差異帶來(lái)的對(duì)情感聲學(xué)特征的干擾，減小情感特征的類內(nèi)距離，提高情感識(shí)別率；特征向量的高維問(wèn)題，經(jīng)過(guò)特征選擇或降維，選出最具有情感區(qū)別力的聲學(xué)特征，提高分類器泛化能力。 本文以下一代自然人機(jī)交互為應(yīng)用背景，系統(tǒng)分析研究了語(yǔ)音情感識(shí)別，特別是普通話語(yǔ)音情感識(shí)別的特點(diǎn)及存在的問(wèn)題；在建立一個(gè)擴(kuò)展性與應(yīng)用能力良好的普通話情感語(yǔ)音數(shù)據(jù)庫(kù)基礎(chǔ)上，提出以特征選擇、相對(duì)特征和情感焦點(diǎn)為核

4、心的新的語(yǔ)音情感識(shí)別技術(shù)。本文的主要研究?jī)?nèi)容概括如下： (1)普通話情感語(yǔ)音數(shù)據(jù)庫(kù)。由于普通話情感語(yǔ)音研究剛剛起步，有關(guān)建立普通話情感語(yǔ)音數(shù)據(jù)庫(kù)的技術(shù)、經(jīng)驗(yàn)和方法都較少。為了研究的需要，本文建立了一個(gè)普通話情感語(yǔ)音數(shù)據(jù)庫(kù)，用錄音法和剪輯法共采集1376句情感語(yǔ)音，分憤怒、害怕、高興、中性和悲傷5個(gè)情感類別。數(shù)據(jù)庫(kù)還存儲(chǔ)了各情感語(yǔ)音的基頻、能量、時(shí)長(zhǎng)和共振峰等韻律學(xué)及音質(zhì)相關(guān)的聲學(xué)特征。 (2)聲學(xué)特征分析與選擇。情感的聲

5、學(xué)關(guān)聯(lián)特征是語(yǔ)音情感識(shí)別的關(guān)鍵之一。本文在普通話情感語(yǔ)音數(shù)據(jù)庫(kù)的基礎(chǔ)上，分析韻律學(xué)特征和共振峰特征在不同情感狀態(tài)下的靜態(tài)規(guī)律，以及在情感狀態(tài)轉(zhuǎn)變時(shí)的動(dòng)態(tài)規(guī)律。同時(shí)，進(jìn)行特征選擇和大規(guī)模的統(tǒng)計(jì)實(shí)驗(yàn)，確定了特征向量在情感識(shí)別領(lǐng)域各種情況下的最優(yōu)配置。 (3)模式分類器研究。在對(duì)現(xiàn)有語(yǔ)音情感識(shí)別領(lǐng)域常用分類器進(jìn)行分析的基礎(chǔ)上，本文選擇神經(jīng)網(wǎng)絡(luò)為主要分類器，詳細(xì)探討了它的原理、結(jié)構(gòu)，及其在普通話語(yǔ)音情感識(shí)別中的運(yùn)用。根據(jù)說(shuō)話人和文本的異

6、同，設(shè)計(jì)了4種訓(xùn)練和測(cè)試樣本組織方式，在神經(jīng)網(wǎng)絡(luò)分類器下進(jìn)行情感識(shí)別實(shí)驗(yàn)，分析說(shuō)話人與文本差異對(duì)情感識(shí)別的影響，并對(duì)兩種結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行性能優(yōu)化分析。最后比較了神經(jīng)網(wǎng)絡(luò)與SVM和KNN等分類器的識(shí)別性能。 (4)相對(duì)特征研究。針對(duì)說(shuō)話人差異對(duì)語(yǔ)音情感識(shí)別的影響，本文提出了相對(duì)識(shí)別方法，用相對(duì)特征對(duì)說(shuō)話人準(zhǔn)相關(guān)和說(shuō)話人無(wú)關(guān)兩組語(yǔ)音進(jìn)行情感識(shí)別的實(shí)驗(yàn)，并將結(jié)果與絕對(duì)特征作了比較。結(jié)果表明在說(shuō)話人無(wú)關(guān)情況下，相對(duì)特征比絕對(duì)特征的

7、平均識(shí)別率提高了約40個(gè)百分點(diǎn)。本文還對(duì)相對(duì)特征和絕對(duì)特征的性能差異、適用范圍和易用性進(jìn)行了分析比較。 (5)情感焦點(diǎn)研究。針對(duì)文本差異對(duì)情感識(shí)別的影響，本文分析了情感語(yǔ)音全局特征的缺點(diǎn)，提出以神經(jīng)網(wǎng)絡(luò)為分類器，以分段訓(xùn)練和分段測(cè)試為樣本重組方式，以投票制為最終決策機(jī)制的嶄新識(shí)別方法。在此基礎(chǔ)上，本文提出情感焦點(diǎn)理論，用情感焦點(diǎn)的方法篩選參與投票的語(yǔ)段，最終使得平均識(shí)別率比使用全局特征時(shí)提高了13個(gè)百分點(diǎn)。 此外，本文還

8、介紹了采用神經(jīng)網(wǎng)絡(luò)和特征選擇等技術(shù)開(kāi)發(fā)的一個(gè)普通話語(yǔ)音情感識(shí)別的原型系統(tǒng)：EmEars。經(jīng)過(guò)實(shí)驗(yàn)測(cè)試，并與人類識(shí)別性能進(jìn)行比較，可以得出結(jié)論：在說(shuō)話人無(wú)關(guān)，且文本無(wú)關(guān)情況下，EmEars的情感識(shí)別能力遠(yuǎn)低于人類；但在說(shuō)話人相關(guān)，且文本相關(guān)情況下，EmEars的情感識(shí)別能力有大幅提高，甚至超過(guò)人類。 本文的貢獻(xiàn)和創(chuàng)新點(diǎn)歸納起來(lái)主要有以下三大方面： (1)普通話情感語(yǔ)音數(shù)據(jù)庫(kù)的建立為普通話情感語(yǔ)音的錄制、情感狀態(tài)的引導(dǎo)、文本

9、選擇和語(yǔ)音情感質(zhì)量的評(píng)測(cè)等方面提供了一系列有效的方法，為國(guó)內(nèi)同行的普通話語(yǔ)音情感識(shí)別研究，提供一個(gè)具有可比性的實(shí)驗(yàn)樣本數(shù)據(jù)平臺(tái)。 (2)由于語(yǔ)種的差別，西方語(yǔ)系的情感語(yǔ)音聲學(xué)特征分析與選擇的研究成果不能完全適用于普通話情感語(yǔ)音。本文對(duì)普通話情感語(yǔ)音的此項(xiàng)研究填補(bǔ)了這方面的空白，同時(shí)它也為普通話的情感語(yǔ)音合成提供了參考。本文提出的特征選擇研究方案首次對(duì)情感類別、聲學(xué)特征種類、聲學(xué)特征個(gè)數(shù)以及訓(xùn)練樣本數(shù)量之間的關(guān)系進(jìn)行了定量分析，為

10、尋求特征在種類、數(shù)量和識(shí)別類型上的最優(yōu)配置，提供了有效方法。 (3)本文用實(shí)驗(yàn)方法證實(shí)了說(shuō)話人和文本差異對(duì)語(yǔ)音情感識(shí)別的嚴(yán)重干擾。為解決此技術(shù)難點(diǎn)，本文從分析人類的語(yǔ)音情感識(shí)別機(jī)制入手，提出基于相對(duì)特征和情感焦點(diǎn)的新方法。它們能有效減少由于發(fā)聲系統(tǒng)和文本差異造成的類內(nèi)距離增大的不良影響，顯著提高語(yǔ)音情感識(shí)別率。為進(jìn)一步探明人類的語(yǔ)音情感識(shí)別機(jī)制，實(shí)現(xiàn)實(shí)時(shí)的語(yǔ)音情感識(shí)別提供了良好的思路。 本文的研究成果不但豐富了語(yǔ)音情感識(shí)