與漢語語音同步的三維人臉動畫的研究.pdf

1、與漢語語音同步的三維人臉動畫合成的研究是自然人機交互領(lǐng)域的重要內(nèi)容。將任意的聲音與一個“虛擬人”重新結(jié)合起來可能是語音合成中最重要的進(jìn)步之一。人們相信，視覺合成語音將會被證明比聽覺合成語音更有價值。合成視覺語音可以為精神物理學(xué)和心理學(xué)的問題提供更細(xì)微的評估，這是自然語言無法提供的，并且加入視覺信息后可以顯著提高可懂度。目前，還沒有一個較好的方法來實現(xiàn)符合漢語發(fā)音習(xí)慣的人臉語音同步動畫。因此，本文的目標(biāo)是探索研究一種語音可視化新方法，并建

2、立一個與漢語語音同步的三維人臉動畫系統(tǒng)。該技術(shù)能夠廣泛應(yīng)用于新聞播報、對話系統(tǒng)、虛擬主持人、虛擬會議、電影制作、3D游戲娛樂等領(lǐng)域。
　　針對漢語的發(fā)音習(xí)慣以及語音可視化技術(shù)中對口型動畫自然、連續(xù)的要求，本文提出了一種符合漢語發(fā)音習(xí)慣的三維人臉語音同步動畫的方法。本文主要分為三部分:三維人臉建模的研究，協(xié)同發(fā)音建模研究，語音與人臉動畫同步的研究。
　　第一部分，根據(jù)對人臉運動解剖學(xué)的研究，構(gòu)建一個基于肌肉模型與運動幾何學(xué)模型

3、的三維人臉控制模型，為了達(dá)到逼真的效果，建立舌頭、牙齒等模型來配合發(fā)音器官的發(fā)聲。通過數(shù)據(jù)結(jié)構(gòu)的形式去控制肌肉模型和運動幾何學(xué)模型實現(xiàn)人臉的運動，從而實現(xiàn)各種口型和表情的變化。
　　第二部分，為了解決漢語發(fā)音習(xí)慣的問題，設(shè)計了語音可視化協(xié)同發(fā)音模型，該方法通過分析相鄰音子間視素的影響權(quán)重，可以描述輔音與元音之間，元音與元音之間相互影響的視位表達(dá)，從而產(chǎn)生符合漢語發(fā)音習(xí)慣的口型動畫。
　　第三部分，為了解決人臉動畫的語音同步問

4、題，提出了一種語音流與動畫流匹配的方法。首先，通過對漢語文本的分析，來獲取中文可視音素;其次，通過對語音基本口型的時間定位，將語音和人臉動畫相結(jié)合，并且在時間軸上保證語音流與動畫流的匹配;最后通過插值算法合成與語音同步的三維人臉動畫。該方法提高了人臉語音動畫的連貫性和合理性。
　　在上述研究的基礎(chǔ)上，本文開發(fā)了一種基于漢語文本的三維人臉語音同步動畫系統(tǒng)，該系統(tǒng)可以根據(jù)輸入的文本，通過語音可視化技術(shù)，產(chǎn)生與語音同步的三維人臉動畫。為