基于兩層隱馬爾可夫模型的可視語音合成方法研究.pdf

1、多媒體技術(shù)的發(fā)展使人類獲取、處理信息的手段發(fā)生了質(zhì)的飛躍，人機(jī)交互的方式越來越便捷、有效、人性化。多通道信息融合的研究正是適應(yīng)人機(jī)交互這一要求提出來的，而對人類交流方式中采用語言包括語音和可視語音這一交流方式仿真的研究也成為近年來的一個(gè)熱點(diǎn)之一。本文通過對語音和唇動(dòng)這兩種模式的信息相關(guān)性問題的研究，提出了基于兩層隱馬爾可夫模型的音視頻映射模型，進(jìn)一步完善了基于隱馬爾可夫模型的語音驅(qū)動(dòng)唇動(dòng)合成系統(tǒng)。該合成系統(tǒng)的提出旨在通過可視唇動(dòng)信息的引

2、入增強(qiáng)對語音的感知和理解，特別是在有噪音或者聽者有聽力障礙的情況下，唇動(dòng)信息能夠輔助對語音的理解，從而使人與人以及人與計(jì)算機(jī)之間的交流更和諧。 本文在實(shí)驗(yàn)室原有基于隱馬爾可夫模型的語音驅(qū)動(dòng)唇動(dòng)合成系統(tǒng)研究工作基礎(chǔ)上，著重從兩個(gè)角度進(jìn)行了改進(jìn)。第一，針對原系統(tǒng)口形聚類不準(zhǔn)確的不足，實(shí)現(xiàn)了基于K均值算法的口形自動(dòng)聚類，從改進(jìn)口形聚類準(zhǔn)確性角度提高了基于視素建立的隱馬爾可夫模型的參數(shù)的準(zhǔn)確性，從而提高了合成時(shí)預(yù)測口形的準(zhǔn)確性。第二，針

3、對原系統(tǒng)合成出的口形與語音對應(yīng)不準(zhǔn)確、合成出的口形序列不連貫的不足，提出了基于兩層隱馬爾可夫模型的可視語音合成方法。該模型繼承了原系統(tǒng)基于口形類建立語音隱馬爾可夫模型的成果，又構(gòu)建了對所有口形建模的可視隱馬爾可夫模型，并通過一個(gè)兩層的層次結(jié)構(gòu)將兩者恰當(dāng)結(jié)合。由于該方法通過上層的大的各態(tài)歷經(jīng)的隱馬爾可夫模型有效統(tǒng)計(jì)了口形的分布屬性和上下文相關(guān)性；通過下層的語音隱馬爾可夫模型統(tǒng)計(jì)了語音的分布屬性和上下文相關(guān)性，因此避免了因語音與口形之間多對