基于深度學(xué)習(xí)的小尺度單元拼接語音合成方法研究.pdf

1、語音合成技術(shù)旨在實現(xiàn)文本等輸入信息到語音波形的轉(zhuǎn)換。統(tǒng)計參數(shù)語音合成方法以及單元挑選與波形拼接方法是現(xiàn)階段實現(xiàn)語音合成的兩類主流方法。前者具有系統(tǒng)自動構(gòu)建、合成語音平滑流暢等優(yōu)點。但是受制于參數(shù)合成器等因素，其合成語音的自然度仍不夠理想。在統(tǒng)計聲學(xué)模型指導(dǎo)下使用幀級長度的小尺度單元進行單元挑選和波形拼接，是一種改進統(tǒng)計參數(shù)方法合成語音自然度的有效途徑。傳統(tǒng)小尺度單元挑選方法使用隱馬爾科夫模型(hidden Markovmodel，HMM

2、)進行聲學(xué)建模和代價函數(shù)計算。而近年來，以深度神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)方法已經(jīng)在統(tǒng)計參數(shù)語音合成的聲學(xué)建模中體現(xiàn)出了相對HMM的性能優(yōu)勢。
　　因此，本文圍繞基于深度學(xué)習(xí)的小尺度單元拼接語音合成方法開展研究工作。一方面，研究了用于指導(dǎo)小尺度單元挑選的神經(jīng)網(wǎng)絡(luò)聲學(xué)建模方法，通過使用深度神經(jīng)網(wǎng)絡(luò)與遞歸神經(jīng)網(wǎng)絡(luò)等模型結(jié)構(gòu)，提升了傳統(tǒng)HMM模型的建模精度與合成語音質(zhì)量;另一方面，提出了一種結(jié)合單元挑選和參數(shù)生成的語音合成方法，利用幀拼接方

3、法實現(xiàn)了激勵特征波形的生成，改善了傳統(tǒng)統(tǒng)計參數(shù)合成方法中對于相位等激勵信息建模能力的不足，提高了合成語音自然度。本文的研究工作具體如下:
　　首先，本文提出了基于深度神經(jīng)網(wǎng)絡(luò)的幀拼接語音合成方法。該方法使用深度神經(jīng)網(wǎng)絡(luò)構(gòu)建聲學(xué)模型用于幀挑選中的目標(biāo)代價與連接代價的計算，相對傳統(tǒng)HMM模型提高了模型的預(yù)測精度與合成語音的主觀質(zhì)量。
　　其次，本文研究了基于遞歸神經(jīng)網(wǎng)絡(luò)的小尺度單元挑選與波形拼接合成方法。該方法一方面采用結(jié)合長短

4、時記憶單元的遞歸神經(jīng)網(wǎng)絡(luò)進行聲學(xué)建模以改善深度神經(jīng)網(wǎng)絡(luò)的時序建模能力，另一方面引入多幀挑選策略以減少拼接點，取得了比基于深度神經(jīng)網(wǎng)絡(luò)的幀拼接方法更好的合成語音自然度。
　　最后，本文設(shè)計實現(xiàn)了結(jié)合單元挑選激勵生成的參數(shù)合成方法。該方法對提取的激勵特征波形進行參數(shù)表征和聲學(xué)建模，在合成階段使用幀拼接方法生成激勵特征波形的高頻成分，同時使用參數(shù)生成方法預(yù)測濾波器特征，最終通過濾波合成語音波形。實驗結(jié)果表明了該方法在改善統(tǒng)計參數(shù)方法合成