三維人臉唇形動(dòng)畫的語(yǔ)音驅(qū)動(dòng)研究.pdf

1、語(yǔ)音驅(qū)動(dòng)的唇形動(dòng)畫屬于人臉動(dòng)畫技術(shù)范疇,具有真實(shí)感的可視化語(yǔ)音合成技術(shù)已成為人機(jī)接口、虛擬主播與人工智能等領(lǐng)域的研究熱點(diǎn),可廣泛用于視頻教學(xué)、電影動(dòng)畫、虛擬社區(qū)等。
　　 本文主要研究基于三維網(wǎng)格模型的語(yǔ)音驅(qū)動(dòng)唇形動(dòng)畫技術(shù),重點(diǎn)研究了兩個(gè)關(guān)鍵問(wèn)題,(1)特定人的可視化語(yǔ)音與唇形同步技術(shù)。采用基于數(shù)據(jù)驅(qū)動(dòng)的唇形合成方法,獲得真實(shí)自然的唇形動(dòng)畫效果;(2)非特定人的語(yǔ)音唇形同步動(dòng)畫技術(shù)。利用BP神經(jīng)網(wǎng)絡(luò)研究語(yǔ)音驅(qū)動(dòng)唇形動(dòng)畫。該方法運(yùn)

2、算量較小,可操作性較強(qiáng),能夠達(dá)到較理想的語(yǔ)音唇形動(dòng)畫效果。本文主要工作有如下幾個(gè)方面:
　　 1.采集不同人的語(yǔ)音資料,建立語(yǔ)音庫(kù);研究與分析漢語(yǔ)的發(fā)音特征以及發(fā)音規(guī)律,分析唇形運(yùn)動(dòng)狀態(tài)以將具有相似運(yùn)動(dòng)狀態(tài)的唇形進(jìn)行歸類,建立口型庫(kù)。
　　 2.基于特定人的語(yǔ)音可視化合成算法的研究,提取唇形的特征參數(shù)值,對(duì)唇形樣本進(jìn)行分類與聚類處理,形成基本的唇形類別,對(duì)語(yǔ)音進(jìn)行分幀處理以提取語(yǔ)音的特征參數(shù)(MFFC),建立語(yǔ)音幀與唇形

3、類別的映射關(guān)系,建立訓(xùn)練模型以訓(xùn)練樣本數(shù)據(jù),最終合成與語(yǔ)音幀相同步的唇形幀,經(jīng)平滑處理后達(dá)到真實(shí)動(dòng)畫效果。
　　 3.非特定人的語(yǔ)音驅(qū)動(dòng)唇形動(dòng)畫的研究,依據(jù)漢字音節(jié)特征以及聲韻母與唇形類別間的映射關(guān)系,構(gòu)建一個(gè)三層的BP網(wǎng)絡(luò)模型進(jìn)行學(xué)習(xí)訓(xùn)練。在實(shí)時(shí)語(yǔ)音驅(qū)動(dòng)唇形動(dòng)畫過(guò)程中,首先對(duì)語(yǔ)音信號(hào)進(jìn)行端點(diǎn)檢測(cè),將噪音段與無(wú)音段直接對(duì)應(yīng)閉合的唇形狀態(tài),然后提取有效語(yǔ)音的底層特征參數(shù),經(jīng)過(guò)BP網(wǎng)絡(luò)模型處理,生成與實(shí)時(shí)語(yǔ)音幀對(duì)應(yīng)的唇形狀態(tài)幀,以顯