人機(jī)情感接口-人臉運(yùn)動(dòng)參數(shù)提取、傳輸、動(dòng)畫合成及表情識(shí)別研究.pdf

1、人機(jī)情感接口：人臉表情運(yùn)動(dòng)參數(shù)跟蹤提取、參數(shù)傳輸并合成具有真實(shí)感的語(yǔ)音同步人臉動(dòng)畫以及表情識(shí)別，是當(dāng)今計(jì)算機(jī)視覺(jué)和圖形學(xué)領(lǐng)域的一個(gè)熱點(diǎn)問(wèn)題，它在人機(jī)交互、視頻編碼、娛樂(lè)和虛擬現(xiàn)實(shí)等方面有著非常多的應(yīng)用。本文面向的一個(gè)重要領(lǐng)域是極低比特率下模型基人臉視頻編解碼系統(tǒng)。在過(guò)去的三十年中，相關(guān)領(lǐng)域取得了長(zhǎng)足的發(fā)展與進(jìn)步，但仍存在許多問(wèn)題亟待解決。其中，如何快速獲得準(zhǔn)確的人臉運(yùn)動(dòng)參數(shù)，如何以更適合人臉這一特定對(duì)象的方式來(lái)傳輸參數(shù)，如何獲得具有高真

2、實(shí)感的語(yǔ)音同步人臉動(dòng)畫，如何獲得高識(shí)別率的表情識(shí)別結(jié)果是一個(gè)富于挑戰(zhàn)性的課題。本課題涉及計(jì)算機(jī)視覺(jué)中的運(yùn)動(dòng)分析，信道編碼，人臉的運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)建模和表示、協(xié)同發(fā)音機(jī)制的建模以及文本驅(qū)動(dòng)下的人臉動(dòng)畫、模式識(shí)別等諸問(wèn)題。
　　 面向模型基人臉視頻編解碼領(lǐng)域，本文從以下幾個(gè)方面對(duì)人臉表情運(yùn)動(dòng)參數(shù)跟蹤提取、參數(shù)傳輸并合成具有真實(shí)感的語(yǔ)音同步人臉動(dòng)畫以及表情識(shí)別這一富于挑戰(zhàn)性的研究課題進(jìn)行了重點(diǎn)研究。
　　 首先，提出了一種基于單

3、幅圖像的初始幀特定人臉自動(dòng)適配方法。首先對(duì)于編碼端發(fā)送視頻的首幀圖像，利用Adaboost+Camshift+AAM（Active appearance model）算法來(lái)檢測(cè)人臉和定位特征點(diǎn)，接著特定化一個(gè)簡(jiǎn)潔人臉通用網(wǎng)格模型以得到人臉構(gòu)造參數(shù)(FDP：Facial definition parameter)；對(duì)于得到的FDP，解碼端用來(lái)特定化一個(gè)精細(xì)人臉通用網(wǎng)格模型。
　　 其次，提出了一種基于在線模型匹配與更新的人臉三維表

4、情運(yùn)動(dòng)跟蹤算法。利用自適應(yīng)的統(tǒng)計(jì)觀測(cè)模型來(lái)建立在線模型，自適應(yīng)的狀態(tài)轉(zhuǎn)移模型結(jié)合改進(jìn)的粒子濾波來(lái)同時(shí)進(jìn)行確定性搜索和隨機(jī)化搜索，并且融合目標(biāo)的多種測(cè)量信息來(lái)減少光照影響和個(gè)人相關(guān)性。從而既可以得到全局剛體運(yùn)動(dòng)參數(shù)，又可以得到局部非剛體表情運(yùn)動(dòng)參數(shù)。
　　 再次，對(duì)于人臉視頻中的每一幀，首先提出了一種靜態(tài)人臉表情識(shí)別算法，人臉表情運(yùn)動(dòng)參數(shù)被提取出來(lái)后，根據(jù)表情生理知識(shí)來(lái)分類表情；接著，為了應(yīng)對(duì)知識(shí)的不足，提出了一種靜態(tài)表情識(shí)別和動(dòng)

5、態(tài)表情識(shí)別相結(jié)合的算法,以基于多類表情馬爾可夫鏈和粒子濾波的統(tǒng)計(jì)框架結(jié)合表情生理知識(shí)來(lái)同時(shí)提取人臉表情運(yùn)動(dòng)和識(shí)別表情。
　　 接著，提出了一種面向MPEG-4人臉表情運(yùn)動(dòng)參數(shù)(FAP：Facial animation parameter)的壓縮算法。基于面部動(dòng)作單元（Action Unit）可以表示人臉表情運(yùn)動(dòng)的思想以及同一幀內(nèi)人臉表情運(yùn)動(dòng)參數(shù)的相關(guān)性(由于人臉運(yùn)動(dòng)受限于肌肉和皮膚)，利用面部運(yùn)動(dòng)基函數(shù)(FBF)來(lái)組合FAP，從

6、而可以結(jié)合幀間編碼和幀內(nèi)編碼的方法來(lái)降低碼率，且無(wú)編碼延遲。
　　 此外，提出了一種基于MPEG-4的三維人臉表情動(dòng)畫算法。采用參數(shù)模型和肌肉模型相結(jié)合的方式來(lái)生成人臉動(dòng)畫；同時(shí)對(duì)人臉功能區(qū)進(jìn)行劃分。實(shí)驗(yàn)證明了該算法在FAP流的驅(qū)動(dòng)下可以生成真實(shí)感較強(qiáng)的三維人臉表情動(dòng)畫。
　　 最后，在對(duì)協(xié)同發(fā)音現(xiàn)象建模后，生成與英語(yǔ)音素對(duì)應(yīng)的人臉視素動(dòng)作，在視素之間的動(dòng)畫由非均勻有理B樣條函數(shù)插值生成，并且可以混合表情動(dòng)作；語(yǔ)音合成采