基于隱馬爾可夫模型的說(shuō)話人轉(zhuǎn)換方法的相關(guān)研究.pdf

1、隨著目前語(yǔ)音合成技術(shù)的進(jìn)步，合成語(yǔ)音的音質(zhì)和自然度都有了很大的提高，因此，用戶對(duì)語(yǔ)音合成系統(tǒng)提出了更高的要求--多樣化的語(yǔ)音合成，包括多個(gè)發(fā)音人、多種發(fā)音風(fēng)格、多種情感以及多語(yǔ)種等語(yǔ)音的合成。在這一背景下，通過(guò)調(diào)整一個(gè)說(shuō)話人的語(yǔ)音，使其聽(tīng)起來(lái)像是另一個(gè)人說(shuō)出來(lái)一樣的說(shuō)話人轉(zhuǎn)換技術(shù)被提出。說(shuō)話人轉(zhuǎn)換技術(shù)根據(jù)少量的目標(biāo)說(shuō)話人的語(yǔ)音數(shù)據(jù)，對(duì)源說(shuō)話人的語(yǔ)音參數(shù)進(jìn)行調(diào)整，從而得到目標(biāo)說(shuō)話人的合成語(yǔ)音，并可以此實(shí)現(xiàn)多樣化的語(yǔ)音合成。為此，本文對(duì)基于

2、HMM(Hidden Markov Model)的說(shuō)話人轉(zhuǎn)換技術(shù)進(jìn)行了詳細(xì)的介紹，并對(duì)其訓(xùn)練流程和關(guān)鍵技術(shù)進(jìn)行了改進(jìn)，最后，針對(duì)具體的應(yīng)用進(jìn)行了相應(yīng)的研究。本文按照如下幾個(gè)部分展開(kāi)討論： 文章的第一部分主要是介紹了本文研究的背景和幾種主要的說(shuō)話人轉(zhuǎn)換的方法。首先，簡(jiǎn)單的描述了一下語(yǔ)音合成技術(shù)以及其近年來(lái)的發(fā)展。接下來(lái)，為了幫助我們更好的理解說(shuō)話人轉(zhuǎn)換的原理，我們也對(duì)人的發(fā)音過(guò)程的聲學(xué)機(jī)理和數(shù)學(xué)模型進(jìn)行了系統(tǒng)介紹。這是因?yàn)椋f(shuō)話人

3、轉(zhuǎn)換技術(shù)是對(duì)源說(shuō)話人的音色進(jìn)行轉(zhuǎn)換使其聽(tīng)起來(lái)像目標(biāo)說(shuō)話人發(fā)出的。而為了實(shí)現(xiàn)說(shuō)話人音色的轉(zhuǎn)換，通常需要對(duì)語(yǔ)音信號(hào)進(jìn)行激勵(lì)源和聲道濾波器的分離，以便對(duì)激勵(lì)信號(hào)和聲道模型分別進(jìn)行修改，然后再重新生成語(yǔ)音。最后我們對(duì)說(shuō)話人轉(zhuǎn)換技術(shù)的發(fā)展和常用的幾種方法進(jìn)行簡(jiǎn)要的介紹。 在文章的第二部分，主要介紹了基于HMM的說(shuō)話人轉(zhuǎn)換的基本框架。由于基于HMM的說(shuō)話人轉(zhuǎn)換技術(shù)是建立在基于HMM的語(yǔ)音合成系統(tǒng)的基礎(chǔ)上的，因此，本章首先介紹了 Tainab

4、le TTS(Text-to-Speech)的基本框架，并對(duì)其中的一些關(guān)鍵技術(shù)進(jìn)行了分析。接下來(lái)主要介紹了基于HMM的說(shuō)話人轉(zhuǎn)換技術(shù)的一個(gè)重要環(huán)節(jié)--MLLR(Maximum Likelihood Linear Regression)模型自適應(yīng)算法，包括MLLR算法中HMM模型均值和方差轉(zhuǎn)換矩陣的估計(jì)方法以及回歸矩陣綁定的基本原理。最后基于上述基于HMM的說(shuō)話人轉(zhuǎn)換的基本框架，進(jìn)行了女到女和女到男的說(shuō)話人轉(zhuǎn)換實(shí)驗(yàn)，并且從合成語(yǔ)音的音質(zhì)、

5、自然度以及與目標(biāo)語(yǔ)音的相似程度三個(gè)方面進(jìn)行了主觀和客觀的評(píng)測(cè)實(shí)驗(yàn)。 文章的第三部分針對(duì)第二章中所介紹的基于HMM的說(shuō)話人轉(zhuǎn)換的各主要技術(shù)環(huán)節(jié)，如基于MSD (Multi-space Distribution) -HMM基頻建模的模型自適應(yīng)、時(shí)長(zhǎng)模型的自適應(yīng)、源說(shuō)話人模型的訓(xùn)練和選擇、模型自適應(yīng)算法、考慮動(dòng)態(tài)參數(shù)的參數(shù)生成算法等模塊；以及合成語(yǔ)音中的問(wèn)題，如在自適應(yīng)數(shù)據(jù)很少時(shí)效果不佳、合成語(yǔ)音頻譜過(guò)于平滑等問(wèn)題，分別進(jìn)行了分析和相

6、應(yīng)的改進(jìn)工作。主要的改進(jìn)包括：整合了自適應(yīng)流程，使頻譜、基頻、時(shí)長(zhǎng)模型在相同的框架下進(jìn)行轉(zhuǎn)換；使用LSP (Line Spectral Pair) +DAL(Differential coefficients of Adiacent LSP)參數(shù)減輕頻譜過(guò)平滑的問(wèn)題；使用共享決策樹(shù)聚類方法訓(xùn)練平均模型作為源說(shuō)話人模型，從而提高模型自適應(yīng)的魯棒性；對(duì)模型自適應(yīng)算法進(jìn)行改進(jìn)，提高自適應(yīng)效果；針對(duì)不同的訓(xùn)練數(shù)據(jù)量，采用不同類型的轉(zhuǎn)換矩陣；改進(jìn)