語音合成音庫自動標注方法研究.pdf

1、近年來，語音合成技術(shù)在技術(shù)研發(fā)和實際應用方面都得到了飛速的發(fā)展。合成語音在音質(zhì)和自然度上均有了明顯的提高。目前主流的語音合成方法主要有基于隱馬爾可夫模型(Hidden Markov Model，HMM)的參數(shù)語音合成方法以及基于大語料庫的波形拼接合成方法。在采用這些語音合成方法構(gòu)建合成系統(tǒng)時，需要先進行音庫的構(gòu)建。音庫構(gòu)建所需要的語音資源可以通過多種方式獲取:既可以專門針對語音合成進行語料設(shè)計并錄制音庫，也可以利用已有的語音數(shù)據(jù)（例如視

2、頻、有聲讀物等多媒體資源）。但無論對于哪一種方法，均離不開音庫的標注。
　　合成音庫的標注包括音段標注以及韻律標注:其中音段標注具體指標出音素序列并進行切分，音素切分指的是標注各個音素的起始和結(jié)束時間，切分信息通常只用于模型的初始化?，F(xiàn)有的自動音段標注技術(shù)已經(jīng)基本可以滿足系統(tǒng)構(gòu)建的需要。而韻律標注則是對語音的韻律信息進行標注，待標注的韻律類型與語言相關(guān)，例如對于中文合成系統(tǒng)韻律標注主要是指韻律層級的標注。韻律信息在合成系統(tǒng)中是作為

3、模型的上下文信息來使用的，其標注的準確性將直接影響到合成語音的質(zhì)量。對于合成音庫的韻律信息，通常需要專業(yè)的標注人員進行標注。然而，隨著音庫規(guī)模的增大，人工標注的工作量急劇增加，此時通常需要多個標注人員參與韻律標注工作，標注的成本十分巨大;此外，韻律標注具有一定的主觀性，保證不同標注人員之間標注結(jié)果的一致性較為困難。因此，如何通過計算機自動準確地進行合成音庫的標注已成為當前的一個重要的研究方向。
　　論文的研究工作將圍繞合成音庫的自

4、動標注展開，針對不同的應用場景以及不同風格的音庫，論文提出了相應的方法對韻律信息進行標注。整篇文章的主要工作包含以下幾個方面:
　　提出了基于HMM聲學建模與狀態(tài)解碼的自動韻律標注方法。采用該方法進行合成音庫自動標注的優(yōu)勢包括:在基于聲學特征分布進行韻律標注時可以充分考慮其他已知標注信息對于分布參數(shù)的影響;通過整句解碼的方式確定韻律標注結(jié)果，考慮了句中不同位置處韻律標注間的相關(guān)性;使用與語音識別類似的算法框架，可以借鑒語音識別中較

5、為成熟的模型訓練與解碼算法。在具體實現(xiàn)中:我們首先提出基于窮舉搜索的韻律短語邊界自動標注方法，分析了合成系統(tǒng)中不同特征與上下文信息對韻律標注性能的影響，驗證該方法的可行性;在此基礎(chǔ)上我們又提出了基于維特比搜索的韻律短語自動標注方法，在保證標注結(jié)果準確性的前提下，提高了標注的效率。
　　設(shè)計并實現(xiàn)了用于自動韻律標注的深度神經(jīng)網(wǎng)絡—隱馬爾科夫模型(DeepNeural Network-HMM，DNN-HMM)聲學建模方法，該方法利用了

6、DNN相對于高斯混合模型(Gaussian Mixture Model，GMM)更強的聲學建模能力進一步提高自動韻律標注的準確率。
　　提出了結(jié)合特征聚類初始化與HMM聲學建模的無監(jiān)督自動韻律標注方法。該方法可以在沒有人工韻律標注數(shù)據(jù)的情況下進行合成音庫的自動韻律標注，從而自動地構(gòu)建多發(fā)音人以及多發(fā)音風格的個性化語音合成系統(tǒng)。我們通過對朗讀風格音庫的韻律短語邊界標注實驗和對故事風格音庫的重音位置標注實驗，驗證了該無監(jiān)督韻律標注方法

7、的有效性。
　　提出了基于隱藏重音狀態(tài)的無監(jiān)督重音標注與合成方法。在上一部分的工作中，重音標注是作為一個普通的上下文信息參與決策樹聚類，但是在重音單元數(shù)量比較少的情況下，重音信息在決策樹聚類中難以得到體現(xiàn)，這樣導致難以訓練得到精確的重音/非重音模型，從而影響了重音標注的性能以及重音在合成語音中的體現(xiàn)。因此，這里我們考慮將重音信息從其他上下文信息中分離出來，引入重音狀態(tài)層，使用線性變換來表征重音信息對聲學特征分布的影響。該方法一方面