聽話要聽音— 情感語音處理技術(shù)

1、聽話要聽音聽話要聽音—情感語音處理技術(shù)情感語音處理技術(shù)原作者：陶建華2005020411:49:31同樣一句話，往往會由于說話人的情感不同，其意思和給聽者的印象就會不同，所謂“聽話聽音”就是這個道理。傳統(tǒng)的語音處理系統(tǒng)多著眼于語音詞匯傳達(dá)的準(zhǔn)確性，而忽略了包含在語音信號中的情感因素。傳統(tǒng)的語音處理系統(tǒng)只是反映了信息的一個方面，而忽略了與知識世界相對應(yīng)且具有同等重要地位的感性科學(xué)世界，這其實(shí)也是信息處理的一個重要組成部分。近幾年來，語音識

2、別與合成技術(shù)在語音分析、自然語言處理、信號處理、隨即過程處理等方法的推動下獲得了很大的發(fā)展。但從語音信號中提取情感特征，分析人的情感與語音信號的關(guān)聯(lián)，只是國內(nèi)外剛剛興起的研究課題。目前這一領(lǐng)域的研究主要還是集中在情感的聲學(xué)特征分析上，有關(guān)情感建模以及結(jié)合情景、語言特征建立完整的情感控制模型還少有涉及。聲學(xué)特征判斷情感因素聲學(xué)特征判斷情感因素當(dāng)說話人處于不同情感狀態(tài)時，會在語速上表現(xiàn)出一定的變化，在激動狀態(tài)時，語速較平常狀態(tài)快。因此可以利

3、用判斷語音信號中的語速和發(fā)話持續(xù)時間等參數(shù)來判別情感中激動成分的程度。同語音信號中的時間特征相類似，信號的振幅特征和各種情感信息也具有較強(qiáng)的相關(guān)性。由于人對語音的感知非常多樣化，全面考慮情感的聲學(xué)特征是一個非常困難的工作，考慮到計(jì)算機(jī)的處理能力，只能通過部分參數(shù)從一定程度上對情感語音的聲學(xué)特性進(jìn)行概括。一般情況下，語音情感相關(guān)性的表示形式可以通過說話人模型或者聲學(xué)模型來實(shí)現(xiàn)。由于漢語的韻律多以音節(jié)為處理單位，在這種有調(diào)音節(jié)的韻律分析中，

4、音節(jié)的韻律特征起著非常重要的作用，為了便于在漢語中處理，通常將情感語音的聲學(xué)特征直接分為三類：韻律類、音質(zhì)類和清晰度類。韻律類韻律類主要用來表征不同情感狀態(tài)下語氣的變化，它包括如下韻律參數(shù)描述。平均基頻：整個語句的基頻（F0）平均值，根據(jù)語音信號分析聲帶的共振頻率?；l范圍：整個語句的基頻范圍，基頻范圍在很大程度上能夠反映人的情緒狀態(tài)。重音的突變特性：在情感語句中，重音多體現(xiàn)情感焦點(diǎn)特性，經(jīng)常由情感關(guān)鍵詞承載。表1針對五種基本情感狀態(tài)列

5、出了幾種基本聲學(xué)參數(shù)較為平均的體現(xiàn)。從語音中抽取個性特征從語音中抽取個性特征通常情況下，語音理解是從一段語音中分析出文本，讓系統(tǒng)“聽懂”語音的內(nèi)容。它的研究重點(diǎn)是分析語音中的共性特征。情感語音的研究則是從語音中抽取個性特征，并加以參數(shù)化描述。充分的利用情感韻律特征，從中獲取說話人意向及部分語義信息，可以從一定程度上提高理解的準(zhǔn)確率。由于一般情況下人們很少進(jìn)行典型情緒的發(fā)音，說話的情感狀態(tài)通常分布在一個連續(xù)的狀態(tài)空間里，在MarcSchr

6、der（2001）等人的工作中，采用了三個參數(shù)來對其進(jìn)行描述，分別是激活度（Activation）、評價（Evaluation）和強(qiáng)度（Power），不同的情感可以對應(yīng)到這三個參數(shù)的值上，下表2為MarcSchrder給出的一個經(jīng)驗(yàn)對照表。對于一個給定的情感三維坐標(biāo)，其相應(yīng)的聲學(xué)特征具有一定的關(guān)聯(lián)特性。這種三維坐標(biāo)的形式，提供了一種情感語音的特征相似性比較的途徑。例如，生氣和恐懼相比較可發(fā)現(xiàn)具有相似的聲學(xué)特征和情感特征。聲學(xué)上說它們在平

7、均傾斜度、傾斜范圍、語速和清晰度方面是相似的，不同點(diǎn)是害怕的傾斜度改變比中性要緩、語速要快、強(qiáng)度正常、聲音不規(guī)則。在三維情感空間中這兩個情緒在Activation和Evaluation很近，在Power則有所不同。因而使得情感的聲學(xué)特征具有一定的可預(yù)測性。當(dāng)然該三維坐標(biāo)并不能解決所有的情感特征，例如擔(dān)心、熱愛等情感則不能只通過三維空間的描述來說明，同時由于情感受不同的人感知，反映在語音的聲學(xué)特征上亦會具有不同的表現(xiàn)形式，因此還需要在情感