基于分類導向的三維聯(lián)合頭部姿態(tài)估計與人臉關(guān)鍵點定位.pdf

1、互聯(lián)網(wǎng)開啟了數(shù)字化的時代，利用機器學習和深度學習的方法提取大量數(shù)據(jù)信息中的高層知識進行學習以完成人機交互成為一大研究熱點。人機交互的關(guān)鍵首先在于根據(jù)不同的交互需求識別人體的特定部位的特征，生物識別作為一種快捷、友好的身份識別特征應運而生?，F(xiàn)有的較為成熟的生物識別技術(shù)包括虹膜識別，指紋識別，語音識別，步態(tài)識別以及人臉識別等，其中人臉作為一種重要的生物識別特征，由于其具有提取便利以及非侵犯性的特點，更能夠被受試者所接受，也因此促使該領(lǐng)域的研

2、究不斷成熟。
　　研究人體的頭部姿態(tài)，以及眼角、鼻尖、嘴巴、下巴等人臉關(guān)鍵點是人臉分析領(lǐng)域的關(guān)鍵性問題，這兩個問題已經(jīng)能夠在圖片上獲得不錯的結(jié)果，但是基于圖片的方法大都對光照的敏感性較強，且不能很好的處理具有大角度頭部偏轉(zhuǎn)的人臉以及遮擋的情況。由于三維掃描儀器制造成本的不斷降低，掃描數(shù)據(jù)精度的逐步提升，以及深度數(shù)據(jù)自身包含的豐富幾何信息這一特點，使得越來越多的研究者將深度信息應用于人臉分析領(lǐng)域。頭部姿態(tài)估計與人臉關(guān)鍵點定位常被分為

3、兩個問題獨立研究，但是頭部姿態(tài)估計的結(jié)果可以為臉部關(guān)鍵點定位提供很好的空間變換信息，同時臉部關(guān)鍵點的結(jié)構(gòu)又可以反映頭部姿態(tài)向量的數(shù)值，因此如何將兩者結(jié)合起來優(yōu)化是本文的一個核心問題。
　　本文提出了一種基于分類導向的3D聯(lián)合頭部姿態(tài)估計與人臉關(guān)鍵點定位方法。首先，分類導向是指將頭部姿態(tài)空間分為若干個類，在各類中分別執(zhí)行臉部關(guān)鍵點定位算法。這樣做可以保證在同一姿態(tài)空間下，頭部點云數(shù)據(jù)缺失部位相對一致，對關(guān)鍵點定位算法穩(wěn)定性的提升大有

4、幫助。其次，本文提出了聯(lián)合的概念，在級聯(lián)的隨機森林回歸框架下，將頭部姿態(tài)估計的結(jié)果與標記有關(guān)鍵點的人臉模板相結(jié)合，為級聯(lián)回歸的初始化階段提供一個很好的初值，且級聯(lián)過程中每一階段的關(guān)鍵點定位結(jié)果又可以反過來優(yōu)化頭部姿態(tài)向量。最后，本文給出了一個三維人臉數(shù)據(jù)庫，它包含了不同身份、不同表情以及不同的頭部姿態(tài)數(shù)據(jù)，且給定了頭部姿態(tài)向量與人臉關(guān)鍵點形狀向量的真實值。
　　豐富的實驗展示了本方法的有效性和高效性。本文中的方法在BIWI以及B3