概念語音轉(zhuǎn)換中的聲學(xué)建模與文本生成方法研究.pdf

1、語音合成旨在使計(jì)算機(jī)模仿人類的言語表達(dá)能力，具體包括文語轉(zhuǎn)換(Text-to-Speech)和概念語音轉(zhuǎn)換(Concept-to-Speech)等。文語轉(zhuǎn)換旨在將輸入的文字轉(zhuǎn)換成自然流暢的語音。但人類不僅能朗讀文本，還能根據(jù)頭腦中的概念遣詞造句并將句子通過言語講出來。要使計(jì)算機(jī)具備這種言語表達(dá)能力就需要依靠概念語音轉(zhuǎn)換。
　　概念語音轉(zhuǎn)換將抽象語義表示轉(zhuǎn)換為可懂的、表達(dá)該語義的語音波形。建立一個(gè)概念語音轉(zhuǎn)換系統(tǒng)可以通過級(jí)聯(lián)自然語言

2、生成(Natural LanguageGeneration)與文語轉(zhuǎn)換(Text-to-Speech)模塊實(shí)現(xiàn)，前者將抽象語義轉(zhuǎn)換為表層文本，后者將文本轉(zhuǎn)換為語音。但目前概念語音轉(zhuǎn)換領(lǐng)域的研究共識(shí)是需要在簡(jiǎn)單級(jí)聯(lián)的系統(tǒng)中增加一個(gè)特別的韻律符號(hào)預(yù)測(cè)模塊，該模塊利用生成文本過程中產(chǎn)生的各類語言學(xué)信息預(yù)測(cè)韻律符號(hào)，并期望依靠這類“正確”的語言學(xué)信息提高韻律符號(hào)預(yù)測(cè)精確度。這一方法體現(xiàn)了系統(tǒng)模塊間信息共享的思想，但概念語音轉(zhuǎn)換不同模塊之間的信息

3、共享的途徑不止如此。
　　本文研究概念語音轉(zhuǎn)換中基于模塊間信息共享的聲學(xué)建模與文本生成方法。首先，本文將自然語言生成模塊提供的語言學(xué)信息傳播到基于隱馬爾科夫模型(Hidden Markov Model，HMM)的統(tǒng)計(jì)參數(shù)語音合成模塊當(dāng)中，以優(yōu)化系統(tǒng)的聲學(xué)建模能力，降低聲學(xué)特征預(yù)測(cè)誤差;其次，本文利用語言學(xué)信息取代韻律特征用于聲學(xué)建模，以克服傳統(tǒng)方法中韻律符號(hào)預(yù)測(cè)不精確以及韻律模型構(gòu)建代價(jià)高的問題;最后，本文研究結(jié)合合成質(zhì)量評(píng)估的文

4、本生成方法，通過對(duì)輸入語義對(duì)應(yīng)的多個(gè)備選文本合成語音的質(zhì)量進(jìn)行自動(dòng)評(píng)估，優(yōu)化文本生成結(jié)果，提高輸出合成語音的自然度。
　　整篇文章安排如下:
　　第一章為緒論，將從人類的言語表達(dá)能力出發(fā)介紹概念語音轉(zhuǎn)換，并將其與文語轉(zhuǎn)換進(jìn)行對(duì)比。本章也將介紹國(guó)內(nèi)外概念語音轉(zhuǎn)換的研究現(xiàn)狀。
　　第二章將具體介紹結(jié)合外部韻律模型的中文概念語音轉(zhuǎn)換系統(tǒng)結(jié)構(gòu)，以及各個(gè)模塊的原理、實(shí)現(xiàn)方法。具體包括中文自然語言生成、中文韻律建模以及基于HMM的

5、統(tǒng)計(jì)參數(shù)語音波形生成方法。這一系統(tǒng)也將作為中文概念語音轉(zhuǎn)換基線系統(tǒng)。在此基礎(chǔ)上，本章將分析基線系統(tǒng)的不足。
　　第三章將針對(duì)基線系統(tǒng)的不足介紹第一種優(yōu)化方法。該方法將自然語言生成模塊提供的語言學(xué)信息加入到統(tǒng)計(jì)聲學(xué)模型的上下文標(biāo)簽中，從而為聲學(xué)模型聚類提供更多可能的組合方式。實(shí)驗(yàn)證明加入語言學(xué)信息能夠提高語音基頻建模的精度。
　　第四章將進(jìn)一步介紹結(jié)合語言學(xué)特征的聲學(xué)建模優(yōu)化方法。該方法一方面使用語言學(xué)信息替代聲學(xué)模型上下文標(biāo)

6、簽中的韻律特征，另一方面提出了增加跳轉(zhuǎn)的HMM聲學(xué)模型結(jié)構(gòu)。兩者相結(jié)合，可以使概念語音轉(zhuǎn)換系統(tǒng)擺脫對(duì)韻律特征的依賴。實(shí)驗(yàn)表明該方法在實(shí)際環(huán)境中能夠取得與傳統(tǒng)方法相當(dāng)或更好的合成語音質(zhì)量。
　　第五章將討論結(jié)合合成質(zhì)量評(píng)估的文本生成方法，該方法首先利用規(guī)則將輸入語義轉(zhuǎn)換為意思相同但措辭不同的多個(gè)備選文本，然后使用基于K-NN的合成音節(jié)可接受度自動(dòng)評(píng)價(jià)方法對(duì)備選文本對(duì)應(yīng)中的音節(jié)逐個(gè)進(jìn)行評(píng)價(jià)，進(jìn)一步使用基于規(guī)則的整句可接受度評(píng)價(jià)方法對(duì)備