基于Kinect的主動(dòng)外觀模型及在表情動(dòng)畫上的應(yīng)用.pdf

1、面部特征點(diǎn)定位和跟蹤是計(jì)算機(jī)視覺領(lǐng)域非常活躍的研究方向，其成果被用于人臉識(shí)別、姿態(tài)分析、表情分析、表情傳遞、人機(jī)交互、心理認(rèn)知等。并為擴(kuò)展出的應(yīng)用，如身份識(shí)別、網(wǎng)上聊天、視頻壓縮、特效影視創(chuàng)作、人機(jī)交互等提供輸入。它的發(fā)展還帶動(dòng)了相關(guān)學(xué)科領(lǐng)域的發(fā)展，如醫(yī)學(xué)圖像分析等。但由于人臉表情的復(fù)雜性，面部特征點(diǎn)定位和跟蹤問題仍未能得到完美解決，仍是本領(lǐng)域的研究熱點(diǎn)。常用的面部特征點(diǎn)主要圍繞眼、口、眉毛以及外輪廓，典型的如嘴角，這些特征點(diǎn)的位置可以

2、通過分析圖像提取。
　　面部特征點(diǎn)的定位和跟蹤，倘若單純依靠二維RGB圖像和二維模型，易受背景和光照姿態(tài)等變化的影響，所以現(xiàn)在的研究中越來(lái)越多的傾向于使用三維模型和深度信息。Kinect可以同時(shí)提供深度圖像和RGB圖像信息，為視頻中進(jìn)行面部特征的提取提供了新的工具。
　　提取到面部特征點(diǎn)后，可以分析其表情信息，并傳遞到目標(biāo)臉上。由于臉型的差異和表現(xiàn)出的表情各不相同，需要在視頻中人臉的特征信息和目標(biāo)臉的表情信息二者之間找到一種

3、合適的映射關(guān)系。
　　本文主要解決這兩方面的問題，一是如何從視頻中提取表情或者特征點(diǎn)信息，二是提取后如何驅(qū)動(dòng)線條動(dòng)畫。以下列出本文所研究的問題:
　　(1)從同時(shí)包含深度圖像和二維圖像的視頻中準(zhǔn)確提取面部特征點(diǎn)的位置，并進(jìn)行跟蹤。這一方面的研究又包含兩部分內(nèi)容，一部分為多視角下的，即頭部轉(zhuǎn)動(dòng)情況下的面部特征點(diǎn)的定位問題，另一部分為位于面部邊緣約束下的特征點(diǎn)定位問題。
　?、倩贙inect的多視角主動(dòng)外觀模型
　

4、　面部特征點(diǎn)提取中，精度和魯棒性是研究的關(guān)鍵。面部特征點(diǎn)的提取易受光照和姿態(tài)的影響，帶來(lái)很大的匹配誤差。而使用紅外，從Kinect中獲取的三維深度圖像受光照的影響較小，引入的深度也可以增強(qiáng)姿態(tài)判斷的準(zhǔn)確性。由于附加的三維深度圖像和二維圖像是來(lái)自兩個(gè)攝像頭，在攝像頭之間存在視角差異，其像素點(diǎn)也并非一一對(duì)應(yīng)的，因此需要解決其對(duì)應(yīng)關(guān)系，從而來(lái)獲得各像素點(diǎn)的深度值。同時(shí)，初始化的優(yōu)劣對(duì)主動(dòng)外觀模型的影響很大，在多視角下，頭部姿態(tài)提取后如何初始化

5、和選擇匹配模型，是我們研究的問題之一。
　?、诨谶吘壖s束的AAM輪廓特征點(diǎn)定位
　　傳統(tǒng)的主動(dòng)外觀模型采用圖像信息進(jìn)行匹配，在復(fù)雜背景環(huán)境下，不僅初始化人臉位置比較困難，而且在匹配時(shí)容易受背景的影響。而采用深度攝像頭后，從深度數(shù)據(jù)中，可以較為準(zhǔn)確的找到物體的邊緣。由此可以用其對(duì)位于邊緣上的面部特征進(jìn)行約束，提高其匹配精度。引入三維信息后如何對(duì)面部特征進(jìn)行約束，也是本文研究的問題。
　　(2)視頻驅(qū)動(dòng)面部線條動(dòng)畫

6、>　　面部線條動(dòng)畫是一門富有生命力的藝術(shù)形式，在從視頻序列制作連續(xù)的動(dòng)畫時(shí)，需要研究如何從視頻的人臉上盡可能簡(jiǎn)便地提取表特征參數(shù)，并用其驅(qū)動(dòng)線條動(dòng)畫。
　　本文的主要內(nèi)容和貢獻(xiàn)體現(xiàn)在如下幾點(diǎn):
　　(1)為解決深度相機(jī)下主動(dòng)外觀模型的初始化及頭部視角變化問題，提出了一種深度相機(jī)下多視角主動(dòng)外觀模型的初始化和視角模型選擇方法，提高了算法的準(zhǔn)確性。
　　本文將主動(dòng)外觀模型方法進(jìn)行擴(kuò)展，提出了一種同時(shí)利用深度圖像和彩色圖像的

7、人臉特征點(diǎn)定位方法。在采樣不同視角的圖像，訓(xùn)練得到不同視角的AAM模型的基礎(chǔ)上，提出了一個(gè)基于人臉深度圖像和特征點(diǎn)建立人臉三維網(wǎng)格模型的方法，并利用三維網(wǎng)格模型對(duì)不同視角下的人臉進(jìn)行AAM初始化和多視角模型的選擇方法，提高了多視角下AAM定位的精度和魯棒性。
　　(2)針對(duì)面部特征點(diǎn)定位時(shí)，輪廓邊緣特征點(diǎn)定位精度較低的問題，提出一種利用深度圖像對(duì)邊緣特征點(diǎn)進(jìn)行約束的方法，可以有效的提高邊緣特征點(diǎn)的匹配精度。
　　本文提出的算

8、法中提取臉部輪廓邊界作為約束加入AAM能量函數(shù)中進(jìn)行迭代，從而使其更接近實(shí)際輪廓。實(shí)驗(yàn)表明算法可以有效提高輪廓特征點(diǎn)的定位精度。不過由于在優(yōu)化時(shí)更多的考慮邊界上的點(diǎn)，而形變是對(duì)全局進(jìn)行的，在改變匹配系數(shù)適應(yīng)約束點(diǎn)時(shí)，內(nèi)部其他點(diǎn)的位置會(huì)發(fā)生變化，略微降低了其他特征點(diǎn)的精度。
　　(3)針對(duì)視頻序列驅(qū)動(dòng)線條動(dòng)畫的問題，提出一種利用AAM匹配過程提取的形狀參數(shù)驅(qū)動(dòng)線條動(dòng)畫的方法，并設(shè)計(jì)了應(yīng)用工具實(shí)現(xiàn)輸出全過程。
　　線條模型由固定