基于雙層學(xué)習(xí)模型的可視語音合成系統(tǒng)研究.pdf

1、隨著多媒體技術(shù)的發(fā)展和人們對人機(jī)交互和虛擬現(xiàn)實技術(shù)越來越高的要求，近些年來，可視語音合成成為多媒體領(lǐng)域一個研究的熱點和難點。先前的研究已經(jīng)證明，多通道的信息融合能夠增加人們對信息的理解。在語言交流的基礎(chǔ)上，如果附加有面對面的可視信息，不僅有利于人們快速、準(zhǔn)確地理解交流信息，而且令人感到愉悅。可視語音合成技術(shù)在電子商務(wù)，虛擬現(xiàn)實，友好人機(jī)交互系統(tǒng)以及娛樂等方面都有重要的應(yīng)用。 在這個研究背景之下，本文將研究重點放在研究合成具有照片

2、真實感的可視語音合成上。鑒于基于大樣本采樣技術(shù)在合成真實感上的優(yōu)勢，本文也將采用基于大樣本采樣的合成技術(shù)。 首先，在映射模型的建立上，為了避免音素和口型之間的多對一關(guān)系，采用以馬爾可夫鏈為基礎(chǔ)的語音序列建模方法(隱式馬爾可夫鏈)，將口型樣本按照五個基本口型類進(jìn)行子空間劃分。 其次，語音特征的表示上，同時考慮了語音上下文的相關(guān)性，采用了聯(lián)合語音特征表示的方法。在語音的特征的提取上，本文建立了一個遺傳模型，從而在細(xì)粒度層次上

3、進(jìn)一步預(yù)測語音的可視信息。通過對多個子空間建立的多個遺傳模型，可以更好的描述大規(guī)模語音數(shù)據(jù)中包含的多種語音本質(zhì)特征，提高了映射模型的精度。 第三，在口型特征的表示上，為了去除光照對樣本的影響，本文提出一種基于FAP特征點的幾何參數(shù)表示模型。該模型的優(yōu)點是：對在不一致的光照條件下獲得的訓(xùn)練樣本有較好的魯棒性，能夠更好的表征口型本身變化，而且相比傳統(tǒng)的基于圖像全局紋理特征的方法(如PCA特征)，具有較小的向量維數(shù)，對于提高學(xué)習(xí)模型的