實時語音同步的三維虛擬人表情和動作的研究.pdf

1、通常情況下，人們在用語音進行相互交流的時候，除了呈現(xiàn)出自然的面部表情，還總會伴隨著非言語的面部姿勢，所謂面部姿勢是指頭部動作、眼部動作以及眉毛動作等。這些自然的面部表情和動作具有輔助言語的提示性作用，也反映出了說話人的內(nèi)心情感狀態(tài)。目前，這方面研究大多局限于單方面的研究，很少考慮虛擬人在說話時，語音、面部表情、頭部運動以及眼部運動等多方面地協(xié)調(diào)同步，而且仿真中未考慮表情的細(xì)節(jié)以及連續(xù)過渡問題，以至于合成的虛擬人表情木訥、呆滯，比較單一，

2、與真實人的表情相差較大。本文的目標(biāo)是探索研究一種相對真實的表情合成的新方法，并建立一個具有真實感的情緒化三維虛擬說話人系統(tǒng)。
　　針對當(dāng)前的虛擬說話人系統(tǒng)面部表情比較單一，沒有豐富的表情細(xì)節(jié)以及表情和面部姿勢不能很好地協(xié)調(diào)同步問題，本文首先采用了一種基于樣例的Blendshape表情基自動生成方法，以該表情基為基本模型，利用融合變形方法來合成融合多元素的相對復(fù)雜的表情，為了對虛擬人的動態(tài)面部表情進行仿真，把每一個表情的變化過程動態(tài)

3、地分為三個階段:產(chǎn)生、保持和消退，利用三時間參數(shù)的仿真方法取得了很好的效果。然后通過對人類心理學(xué)在真實人眼部和頭部的運動統(tǒng)計結(jié)果的研究學(xué)習(xí)，設(shè)計了遵循一些特定假設(shè)條件的均勻分布隨機函數(shù)來對眨眼、頭動以及目光轉(zhuǎn)移等自然行為進行仿真。隨后，通過對動態(tài)表情和語音關(guān)系的分析，將表情標(biāo)記轉(zhuǎn)換為書簽標(biāo)記以便語音合成系統(tǒng)正確識別，利用書簽函數(shù)來實現(xiàn)語音和動態(tài)面部表情的同步處理。
　　在上述研究的基礎(chǔ)上，本文建立了一個具有真實感的情緒化虛擬說話人