基于漢語驅(qū)動(dòng)人臉語音動(dòng)畫的研究.pdf

1、近年來，人臉動(dòng)畫在計(jì)算機(jī)圖形學(xué)是一個(gè)極具挑戰(zhàn)性的研究領(lǐng)域。人臉動(dòng)畫廣泛的應(yīng)用于教學(xué)、數(shù)字娛樂、游戲、人機(jī)交互、遠(yuǎn)程會(huì)議、影視制作、醫(yī)學(xué)手術(shù)、人臉識(shí)別等領(lǐng)域。
　　我們基于MPEG-4標(biāo)準(zhǔn)和中文語言學(xué)理論，以TTS引擎、OpenGL作為主要的開發(fā)工具，實(shí)現(xiàn)了一個(gè)基于漢語文本驅(qū)動(dòng)的人臉語音動(dòng)畫系統(tǒng)。該系統(tǒng)主要由四部分組成：文本分析系統(tǒng)；語音合成系統(tǒng)；人臉動(dòng)畫系統(tǒng)和語音與動(dòng)畫同步系統(tǒng)。系統(tǒng)的執(zhí)行流程是：一方面，語音合成系統(tǒng)接收輸入的中文

2、文本，分析處理后，合成語音并產(chǎn)生帶有時(shí)間信息的音素流；另一方面，基于肌肉模型建立具有真實(shí)感的特定人臉模型，使用音素幀參數(shù)和表情幀參數(shù)驅(qū)動(dòng)模型網(wǎng)格點(diǎn)移動(dòng)，從而實(shí)現(xiàn)人臉動(dòng)畫；最后將合成的語音與人臉動(dòng)畫同步，就實(shí)現(xiàn)具有真實(shí)感的、帶有表情的人臉語音動(dòng)畫。
　　本系統(tǒng)建立的協(xié)同發(fā)音模型有效地解決了中文協(xié)同發(fā)音的問題，這是本論文的一個(gè)創(chuàng)新點(diǎn)。協(xié)同發(fā)音是指在連續(xù)說話過程中，一個(gè)音素的發(fā)音受到相鄰語音段影響的現(xiàn)象。語音合成系統(tǒng)將中文可視音素劃分為

3、15組，可獲得帶有時(shí)間信息的中文可視音素序列，成功解決了TTS引擎不能直接產(chǎn)生中文音素和中文可視音素的問題，這是論文的第二個(gè)創(chuàng)新點(diǎn)。此外，系統(tǒng)在通用模型的基礎(chǔ)上進(jìn)行特定化修正，通過模型校準(zhǔn)、紋理映射方法，生成具有高度真實(shí)感的人臉模型。系統(tǒng)還通過定義表情標(biāo)簽、表情過渡、表情與可視音素混合等處理，實(shí)現(xiàn)了帶有表情的人臉動(dòng)畫。
　　由于本系統(tǒng)實(shí)現(xiàn)的人臉動(dòng)畫，只是通過嘴唇來模擬說話和表情動(dòng)作，而并沒有考慮人臉其它部位在說話過程中的動(dòng)作變化。