視頻驅(qū)動(dòng)的三維唇動(dòng)合成.pdf

1、嘴唇動(dòng)畫(huà)作為人臉動(dòng)畫(huà)中最重要的部分之一，可以應(yīng)用在影視特效，動(dòng)畫(huà)制作，游戲娛樂(lè)以及視頻會(huì)議等諸多領(lǐng)域，具有很大的應(yīng)用價(jià)值和商業(yè)價(jià)值。本文研究的內(nèi)容是如何利用視頻驅(qū)動(dòng)嘴唇，大致分為兩個(gè)部分：如何從視頻中捕捉到嘴唇特征點(diǎn)，以及如何利用捕捉到的嘴唇信息驅(qū)動(dòng)嘴唇模型。
　　本文采用的嘴唇模型是基于CANDIDE-3面部模型的，它的驅(qū)動(dòng)機(jī)制以面部行為編碼系統(tǒng)作為基礎(chǔ)，根據(jù)面部行為編碼系統(tǒng)定義的動(dòng)作單位，驅(qū)動(dòng)人臉模型。利用它的驅(qū)動(dòng)機(jī)制，可以將

2、跟蹤得到的嘴唇信息轉(zhuǎn)換為驅(qū)動(dòng)嘴唇模型的參數(shù)，最終根據(jù)這些參數(shù)得到嘴唇動(dòng)畫(huà)。
　　本文采用了兩種不同的方法對(duì)嘴唇進(jìn)行跟蹤，一種是基于表觀的方法，另一個(gè)種是基于運(yùn)動(dòng)的方法。
　　基于表觀的方法，存儲(chǔ)跟蹤目標(biāo)的紋理，通過(guò)改變目標(biāo)模型的位置參數(shù)和形狀參數(shù)，使其和視頻中的嘴唇相吻合。由于希望不使用訓(xùn)練樣本就可以對(duì)嘴唇進(jìn)行跟蹤，因此紋理模型從第一幀獲取，然后從后續(xù)的幀中獲取形狀無(wú)關(guān)紋理，將紋理模型和形狀無(wú)關(guān)紋理進(jìn)行比較，得到嘴唇模型的最

3、優(yōu)參數(shù)。該方法可以直接得到嘴唇模型的參數(shù)，最終合成的嘴唇動(dòng)畫(huà)在大部分情況下是令人滿意的，但是當(dāng)嘴唇變化過(guò)大的時(shí)候，跟蹤器會(huì)跟丟，因此一些比較明顯的口型變化無(wú)法在合成的嘴唇動(dòng)畫(huà)中重現(xiàn)，影響了合成動(dòng)畫(huà)的質(zhì)量，但跟蹤器可以在沒(méi)有外界干預(yù)的情況下重新恢復(fù)對(duì)嘴唇的跟蹤。
　　基于運(yùn)動(dòng)的方法采用比較成熟的Lucas-Kanade光流法跟蹤嘴唇的四個(gè)特征點(diǎn)，由于下嘴唇特征點(diǎn)在嘴唇運(yùn)動(dòng)過(guò)大的時(shí)候會(huì)跟丟，本文利用嘴唇的幾何形狀和嘴唇的邊緣信息對(duì)下嘴