語(yǔ)音合成音庫(kù)自動(dòng)標(biāo)注方法研究.pdf

1、近年來(lái)，語(yǔ)音合成技術(shù)在技術(shù)研發(fā)和實(shí)際應(yīng)用方面都得到了飛速的發(fā)展。合成語(yǔ)音在音質(zhì)和自然度上均有了明顯的提高。目前主流的語(yǔ)音合成方法主要有基于隱馬爾可夫模型(Hidden Markov Model，HMM)的參數(shù)語(yǔ)音合成方法以及基于大語(yǔ)料庫(kù)的波形拼接合成方法。在采用這些語(yǔ)音合成方法構(gòu)建合成系統(tǒng)時(shí)，需要先進(jìn)行音庫(kù)的構(gòu)建。音庫(kù)構(gòu)建所需要的語(yǔ)音資源可以通過(guò)多種方式獲取:既可以專門針對(duì)語(yǔ)音合成進(jìn)行語(yǔ)料設(shè)計(jì)并錄制音庫(kù)，也可以利用已有的語(yǔ)音數(shù)據(jù)（例如視

2、頻、有聲讀物等多媒體資源）。但無(wú)論對(duì)于哪一種方法，均離不開(kāi)音庫(kù)的標(biāo)注。
　　合成音庫(kù)的標(biāo)注包括音段標(biāo)注以及韻律標(biāo)注:其中音段標(biāo)注具體指標(biāo)出音素序列并進(jìn)行切分，音素切分指的是標(biāo)注各個(gè)音素的起始和結(jié)束時(shí)間，切分信息通常只用于模型的初始化。現(xiàn)有的自動(dòng)音段標(biāo)注技術(shù)已經(jīng)基本可以滿足系統(tǒng)構(gòu)建的需要。而韻律標(biāo)注則是對(duì)語(yǔ)音的韻律信息進(jìn)行標(biāo)注，待標(biāo)注的韻律類型與語(yǔ)言相關(guān)，例如對(duì)于中文合成系統(tǒng)韻律標(biāo)注主要是指韻律層級(jí)的標(biāo)注。韻律信息在合成系統(tǒng)中是作為

3、模型的上下文信息來(lái)使用的，其標(biāo)注的準(zhǔn)確性將直接影響到合成語(yǔ)音的質(zhì)量。對(duì)于合成音庫(kù)的韻律信息，通常需要專業(yè)的標(biāo)注人員進(jìn)行標(biāo)注。然而，隨著音庫(kù)規(guī)模的增大，人工標(biāo)注的工作量急劇增加，此時(shí)通常需要多個(gè)標(biāo)注人員參與韻律標(biāo)注工作，標(biāo)注的成本十分巨大;此外，韻律標(biāo)注具有一定的主觀性，保證不同標(biāo)注人員之間標(biāo)注結(jié)果的一致性較為困難。因此，如何通過(guò)計(jì)算機(jī)自動(dòng)準(zhǔn)確地進(jìn)行合成音庫(kù)的標(biāo)注已成為當(dāng)前的一個(gè)重要的研究方向。
　　論文的研究工作將圍繞合成音庫(kù)的自

4、動(dòng)標(biāo)注展開(kāi)，針對(duì)不同的應(yīng)用場(chǎng)景以及不同風(fēng)格的音庫(kù)，論文提出了相應(yīng)的方法對(duì)韻律信息進(jìn)行標(biāo)注。整篇文章的主要工作包含以下幾個(gè)方面:
　　提出了基于HMM聲學(xué)建模與狀態(tài)解碼的自動(dòng)韻律標(biāo)注方法。采用該方法進(jìn)行合成音庫(kù)自動(dòng)標(biāo)注的優(yōu)勢(shì)包括:在基于聲學(xué)特征分布進(jìn)行韻律標(biāo)注時(shí)可以充分考慮其他已知標(biāo)注信息對(duì)于分布參數(shù)的影響;通過(guò)整句解碼的方式確定韻律標(biāo)注結(jié)果，考慮了句中不同位置處韻律標(biāo)注間的相關(guān)性;使用與語(yǔ)音識(shí)別類似的算法框架，可以借鑒語(yǔ)音識(shí)別中較

5、為成熟的模型訓(xùn)練與解碼算法。在具體實(shí)現(xiàn)中:我們首先提出基于窮舉搜索的韻律短語(yǔ)邊界自動(dòng)標(biāo)注方法，分析了合成系統(tǒng)中不同特征與上下文信息對(duì)韻律標(biāo)注性能的影響，驗(yàn)證該方法的可行性;在此基礎(chǔ)上我們又提出了基于維特比搜索的韻律短語(yǔ)自動(dòng)標(biāo)注方法，在保證標(biāo)注結(jié)果準(zhǔn)確性的前提下，提高了標(biāo)注的效率。
　　設(shè)計(jì)并實(shí)現(xiàn)了用于自動(dòng)韻律標(biāo)注的深度神經(jīng)網(wǎng)絡(luò)—隱馬爾科夫模型(DeepNeural Network-HMM，DNN-HMM)聲學(xué)建模方法，該方法利用了

6、DNN相對(duì)于高斯混合模型(Gaussian Mixture Model，GMM)更強(qiáng)的聲學(xué)建模能力進(jìn)一步提高自動(dòng)韻律標(biāo)注的準(zhǔn)確率。
　　提出了結(jié)合特征聚類初始化與HMM聲學(xué)建模的無(wú)監(jiān)督自動(dòng)韻律標(biāo)注方法。該方法可以在沒(méi)有人工韻律標(biāo)注數(shù)據(jù)的情況下進(jìn)行合成音庫(kù)的自動(dòng)韻律標(biāo)注，從而自動(dòng)地構(gòu)建多發(fā)音人以及多發(fā)音風(fēng)格的個(gè)性化語(yǔ)音合成系統(tǒng)。我們通過(guò)對(duì)朗讀風(fēng)格音庫(kù)的韻律短語(yǔ)邊界標(biāo)注實(shí)驗(yàn)和對(duì)故事風(fēng)格音庫(kù)的重音位置標(biāo)注實(shí)驗(yàn)，驗(yàn)證了該無(wú)監(jiān)督韻律標(biāo)注方法

7、的有效性。
　　提出了基于隱藏重音狀態(tài)的無(wú)監(jiān)督重音標(biāo)注與合成方法。在上一部分的工作中，重音標(biāo)注是作為一個(gè)普通的上下文信息參與決策樹(shù)聚類，但是在重音單元數(shù)量比較少的情況下，重音信息在決策樹(shù)聚類中難以得到體現(xiàn)，這樣導(dǎo)致難以訓(xùn)練得到精確的重音/非重音模型，從而影響了重音標(biāo)注的性能以及重音在合成語(yǔ)音中的體現(xiàn)。因此，這里我們考慮將重音信息從其他上下文信息中分離出來(lái)，引入重音狀態(tài)層，使用線性變換來(lái)表征重音信息對(duì)聲學(xué)特征分布的影響。該方法一方面