基于稀疏表示的多姿態(tài)人臉合成與識別

1、<p>　　基于稀疏表示的多姿態(tài)人臉合成與識別</p><p>　　摘 要：姿態(tài)問題因其帶來的光照、遮擋、非線性尺度變化，成為了影響自動人臉識別效果的瓶頸。如何去衡量不同姿態(tài)的人臉圖像下的相關(guān)性，是解決多姿態(tài)人臉識別問題的關(guān)鍵。本文通過字典學習與稀疏表示的方法，聯(lián)合訓練正臉姿態(tài)和非正臉姿態(tài)字典，保證同一對象兩個姿態(tài)樣本的稀疏表示系數(shù)相同，通過稀疏表示系數(shù)的相似性來衡量不同姿態(tài)的人臉的相似性。通過以上的

2、相似性，本文提出了多姿態(tài)的人臉合成算法，并分別設(shè)計了基于合成人臉和稀疏表示系數(shù)本身的姿態(tài)魯棒人臉識別系統(tǒng)，通過在CMU-PIE多姿態(tài)人臉數(shù)據(jù)集的實驗，證明了本文方法在處理多姿態(tài)人臉識別的有效性。</p><p>　　Abstract:Pose variations which bring illumination change, occlusion and non-linear scale variations,

3、 is the bottleneck influencing performance of automatic face recognition system. How to measure the similarity among samples under different poses is a key problem. In this paper, we propose a new approach to measure cor

4、relations between different poses via sparse representations. Based on dictionary learning and sparse representation techniques, we jointly train frontal and non-frontal dictionari</p><p>　　關(guān)鍵詞：稀疏表示；多姿態(tài)人臉識別；

5、人臉合成；字典學習</p><p>　　Key words：Sparse Representation；Multi-pose Face Recognition；Face Synthesis；Dictionary Learning</p><p><b>　　1 引言</b></p><p>　　近年來，隨著研究的不斷深入，自動人臉識別技術(shù)得到了

6、高速的發(fā)展，一些最新的人臉識別算法，在可控外部環(huán)境條件下，已經(jīng)能夠達到了較高的識別速度和識別精度[3][7][8][9][10]。然而，對于目前大多數(shù)人臉識別算法，一旦一些外部因素（如被測者的姿態(tài)、表情，光照環(huán)境）產(chǎn)生了較大的變化，將會的導致人臉識別精度的顯著下降[1]。然而，以上的一些變化，在真實世界的人臉識別應(yīng)用領(lǐng)域幾乎是不可避免的。如何對以上外部因素進行建模，并設(shè)計開發(fā)對這些外部因素魯棒的人臉識別算法，成為了最近十年人臉識別研究的

7、重點。</p><p>　　而被測者姿態(tài)的變化問題，又成為了影響人臉識別的最難以處理的外部因素。由于人臉作為一個高度非剛性物體的特殊性，姿態(tài)的變化，往往帶來了，旋轉(zhuǎn)、位移、遮擋、光照變化等諸多非線性變換。在不同的視角下，一些臉部區(qū)域與被測者的角度、距離均產(chǎn)生了明顯的變化，甚至被遮擋。由于在現(xiàn)實應(yīng)用中，往往不能將多個姿態(tài)均存入數(shù)據(jù)庫。因此，只有快速準確的進行姿態(tài)矯正，或者提取姿態(tài)不變的信息，找出不同姿態(tài)下的相似性度

8、量，是解決人臉識別中的姿態(tài)問題的有效方法。</p><p>　　許多研究致力于解決人臉識別中的姿態(tài)變化問題。早期解決姿態(tài)變化問題，主要是通過一些2D表觀模型的形變，獲得不同姿態(tài)下的關(guān)鍵特征的匹配。最具代表性的有Wiskott等人的彈性圖匹配算法（EBGM）[2]。該算法通過在手動選取的對應(yīng)特征點上的Gabor小波元素集的度量與特征點之間的幾何信息，構(gòu)造了束圖，從而獲得不同姿態(tài)下對應(yīng)特征點的相似性。Castillo

9、等人使用立體匹配的方法，通過3或4個關(guān)鍵點，獲得人臉圖像的核面幾何構(gòu)造，計算不同姿態(tài)下人臉的相似程度[11]。Prince等人提出了約束因素分析方法，將姿態(tài)建模視為約束因素，將姿態(tài)變換下的表觀個體表觀差異視為高斯噪聲，通過EM算法，估計姿態(tài)變換，同時通過后驗概率度量對噪聲參數(shù)進行匹配，從而達到了識別的目的[12]。Chai等人通過圓柱模型來近似人臉，獲得正臉和側(cè)臉的塊匹配，對于每一個子塊，進行訓練樣本的線性回歸，獲得了某姿態(tài)正臉到側(cè)臉的

10、映射關(guān)系，從而重建虛擬正臉[5]。Li等人通過典型正則分析（CCA），分別將維度不一致的正臉和側(cè)臉空間，投影到中介子空間中，通過在該子空間中的相似性度量，獲得了正臉和側(cè)臉的相似性度量[6]。Blanz等人使用</p><p>　　基于流形空間方法的人臉識別，揭示了高維的人臉圖像，可以被表示為具有代表性樣本的稀疏線性組合[10]。最近，Wright等人通過稀疏表示的方法，進行魯棒人臉識別。在他們的工作中，他們將訓練

11、樣本與遮擋因素當做聯(lián)合字典集，通過l1范數(shù)優(yōu)化方法，獲得了測試圖像樣本的稀疏線性表示，通過在字典集中，尋找最小重建誤差的匹配子集，實現(xiàn)魯棒識別。在圖像超分辨率領(lǐng)域，Yang等人通過聯(lián)合訓練高分辨率字典和對應(yīng)低分辨率字典，使同一對象的不同分辨率圖像，在兩個字典中的稀疏表示相同。在重建過程中，計算待處理低分辨率圖像的稀疏表示系數(shù)，并使用該系數(shù)對高分辨率字典元素進行系數(shù)的線性組合，獲得高分辨率圖像，達到了較好的復原效果[13]。</p&

12、gt;<p>　　在以上工作的啟發(fā)下，本文在多姿態(tài)訓練樣本上，分別就不同的姿態(tài)，通過字典學習的方法，訓練出用于稀疏表示的字典，同時通過約束其字典系數(shù)，是的對于同一樣本的不同姿態(tài)，在對應(yīng)字典上的稀疏表示相同?；谝陨嫌柧毜淖值?，我們設(shè)計了人臉合成算法，通過l1范數(shù)最小化，計算待測人臉對應(yīng)姿態(tài)字典的稀疏表示，通過該稀疏表示，對其余姿態(tài)進行重建，從而獲得了合成的多姿態(tài)人臉圖像，使用合成圖像和現(xiàn)有的單一姿態(tài)人臉識別算法，實現(xiàn)了多姿

13、態(tài)的人臉識別。此外，我們還設(shè)計了基于相似性度量的算法，直接將對應(yīng)字典下的稀疏表示，當做姿態(tài)不變相似性度量特征，進行入庫人臉與待測人臉匹配。通過在CMU-PIE多姿態(tài)人臉數(shù)據(jù)集的實驗，以及與現(xiàn)有方法的比較，說明了本文方法在處理多姿態(tài)人臉識別方面，具有較高的有效性。</p><p>　　2 多視角人臉成像模型</p><p>　　給定正臉3D表面形態(tài)，由于大多數(shù)人臉的3D表面形態(tài)在整體上具有一

14、定的相似性，因此可以看做均臉3D表面形態(tài)與形態(tài)差異“噪聲”之和：</p><p>　　其中平行于人臉的法向量。正面視角中可以看到垂直于觀察者平面?？梢钥闯?，正面視角中向觀察者平面垂直投影無法帶來任何變化。因此，一個正臉圖像可以表示成為：</p><p>　　其中是投影變換矩陣，通過每個3D表面的點將投影到2D觀察者平面，而為2D平面上某點的密度值。在某個旋轉(zhuǎn)角下的3D表面形態(tài)為：</

15、p><p>　　由于人臉表面能夠被看作一個Lambertian表面，其紋理密度的變化不隨著視角的改變而改變。然而，由于人臉表面的非線性結(jié)構(gòu)，將會為成像帶來遮擋和扭曲。這些變化能夠被分為兩部分：1、由3D均臉表面形態(tài)帶來的變化，2、由個體差異帶來的變化。</p><p>　　其中為因3D均臉表面非線性帶來的遮擋和扭曲。為個體表面形狀差異導致的遮擋。為了從側(cè)臉得到重建正臉，或得到姿態(tài)不變的相關(guān)性度

16、量，我們需要估計對和做出估計。由于在相同的非線性人臉表面下，特定姿態(tài)的扭曲與遮擋是相同的，也就是說，點集映射在不同的樣本中具有可加性。此外，3D均臉非線性結(jié)構(gòu)帶來的整體差異相比，由于個體差異帶來的扭曲較小，且作用范圍較為局限，因此，我們只考慮個體差異帶來的遮擋，而該種遮擋僅出現(xiàn)在圖像的一小部分中。從上面的分析可以得出，同一對象在不同姿態(tài)下的人臉圖像之間的非線性變化，可以看做變換和稀疏非線性誤差。</p><p>

17、　　給定正臉和側(cè)臉訓練集與，其中為訓練樣本數(shù)目，和分別為正臉圖像和某角度下的側(cè)臉圖像。對于任何角度下的側(cè)臉圖像，能夠近似成為訓練樣本的線性表示：</p><p>　　其中，。根據(jù)以上的討論，我們能夠得到對應(yīng)的正臉圖像表示：</p><p>　　由于具有可加性，正臉圖像可以表示為：</p><p>　　3 基于稀疏表示的正臉合成</p><p>

18、;<b>　　3.1基本思想</b></p><p>　　對于給定正臉和側(cè)臉詞典,，具有如下的性質(zhì)，即對同一對象的在對應(yīng)姿態(tài)的圖像，在字典中的稀疏表示系數(shù)相同。對于某個個體輸入側(cè)臉圖像，在側(cè)臉字典上的稀疏表示系數(shù)可以通過如下l1范數(shù)最小化方法計算：</p><p>　　該問題的最優(yōu)解可以通過凸優(yōu)化方法計算。本文中l(wèi)1范數(shù)最優(yōu)化問題，均采用[]的方法進行計算。通過已獲得

19、的稀疏表示系數(shù)，我們能夠得到估計的正臉圖像：</p><p>　　下圖為正臉重建的基本思想與流程：</p><p>　　圖：正臉圖像重建的基本思想</p><p>　　3.2基于3D表面的圖像塊匹配</p><p>　　由于人臉表面形態(tài)高度非線性，將人臉整體當做字典元素，會帶來局部形狀和紋理的失真。因此，我們將圖像分成了不同的小塊，對每個小塊

20、建立對應(yīng)的字典。在測試環(huán)節(jié)下，通過計算每個小塊的字典系數(shù)，可以方便的重建出人臉圖像。同時，為了提高合成人臉的光滑度，以及防止塊狀效應(yīng)，我們使用了重疊法。在本文中，我們將正臉圖像分成了的小塊，對于每個小塊，通過將均臉表面進行一定角度的旋轉(zhuǎn)與投影，我們能夠獲得每個小塊在側(cè)臉上的對應(yīng)非線性圖像塊。很顯然，由于遮擋和扭曲，側(cè)臉上的圖像塊，具有不同的長度?；?D表面的圖像塊匹配方法如下圖所示：</p><p>　　圖：3

21、D表面模型輔助的多姿態(tài)圖像塊匹配</p><p>　　3.3 引入對稱信息的遮擋彌補</p><p>　　正如我們在塊匹配中看到的，正臉圖像的一些部分在非正臉圖像中，會產(chǎn)生遮擋與扭曲問題。此類失真將會影響到正臉合成的精度。然而，在姿態(tài)問題中，被遮擋部分的對稱部分盡管也有一定程度的扭曲，但在圖像中能夠無遮擋的顯示。由于大多數(shù)人臉可以近似為一個對稱對象，因此，我們使用對稱部分的信息去對遮擋部分

22、進行彌補。根據(jù)塊匹配可以看出，被遮擋部分，導致側(cè)臉對應(yīng)圖像塊的長度下降。據(jù)此，我們得到了衡量被遮擋程度的度量函數(shù)：</p><p>　　我們得到了帶有對稱約束的l1最小化問題：</p><p><b>　　, s.t. ,</b></p><p>　　引入衡量塊遮擋的嚴重程度的差異，使用拉普拉斯乘子，將不等式約束轉(zhuǎn)化為目標函數(shù)：</p&g

23、t;<p>　　其中，為塊對稱部分的鏡像。這樣，在遮擋嚴重的塊矩陣，以較高的權(quán)重來參考對稱信息。</p><p>　　3.4 聯(lián)合字典學習</p><p>　　由于，因為光照、表情、微小姿態(tài)差異等因素的影響，直接將訓練樣本充當字典，并能夠滿足兩對應(yīng)字典稀疏表示系數(shù)的嚴格相等。因此，我們希望通過聯(lián)合字典學習的方法，同時訓練正臉和側(cè)臉字典，滿足字典系數(shù)的嚴格相等性。</p&

24、gt;<p>　　給定訓練圖像樣本，其中為非正臉圖像數(shù)據(jù)集的某個塊，為正臉圖像數(shù)據(jù)集某個塊。我們需要對于兩個不同的姿態(tài)，分別訓練字典和，滿足同一個被測者的不同姿態(tài)，在對應(yīng)字典上的稀疏表示相等。目標函數(shù)的l1正則化可以表示為：</p><p><b>　　與</b></p><p>　　以上兩個目標函數(shù)可以結(jié)合成為：</p><p>

25、;　　其中，分別正臉字典的第i列，該目標函數(shù)可以簡化為：</p><p>　　其中，，。其中為了平衡長度不同的正臉圖像與側(cè)臉圖像塊元素的權(quán)重。同時對于，該問題為非凸問題，然而，固定其中一個未知量，對另一個未知量，該問題為凸問題。因此，可以通過反復迭代的方法，來計算最優(yōu)化的值，算法流程如下：</p><p><b>　　4 實驗結(jié)果</b></p><

26、;p>　　本章中，我們分別進行了正臉合成和姿態(tài)無關(guān)人臉識別兩組實驗，來證明我們提出的算法的有效性。在4.1節(jié)，我們首先使用第三章的方法，在CMU-PIE人臉數(shù)據(jù)庫中的多姿態(tài)圖像，進行了正面人臉的合成。在4.2節(jié)，我們使用合成的人臉作為待測樣本，使用CMU-PIE中的真實人臉當做樣本，分別采用了多種固定姿態(tài)的人臉識別方法，對重建人臉進行識別，并與LLR重建人臉的識別進行比較。</p><p><b>

27、;　　4.1正臉重建</b></p><p>　　為了驗證我們我們正臉合成算法的有效性，我們在CMU-PIE庫的多姿態(tài)子集中進行了正臉合成實驗，其中包含68個測試者的5個不同姿態(tài)的圖像（編號為c05,c29,c11,c37，分別代表+22.5,-22.5,+45,-45）。由于樣本量較少，我們使用了leave-one-out的訓練方法。預處理階段，所有圖像根據(jù)手動標記的雙眼中心位置配準，并切成大小，兩

28、眼固定在(22,20)和(22,60)兩點。此后，將所有切出圖像進行零均值化處理，在字典訓練階段，設(shè)置字典集長度為100，分塊大小，以步長為2，按照掃描線順序進行逐個訓練。同時，我們分別使用了均方根偏差（RMSE）和峰值信噪比（PSNR）作為衡量重建優(yōu)劣的標準。部分樣本重建結(jié)果如下圖所示：</p><p>　　計算合成正臉和真實正臉之間的均方根偏差，我們得到c05,c29,c11,c37的均方根偏差分別為2.47

29、82,2.3741,2.8110,2.8067，遠低于LLR方法得到的12.。</p><p>　　4.2姿態(tài)無關(guān)人臉識別</p><p>　　通過4.1節(jié)，合成的正臉，可以被用于進行姿態(tài)無關(guān)的人臉識別。首先，對入庫圖像均進行DoG濾波預處理，濾波核分別選取。首先進行庫內(nèi)單張圖像的識別，即對于圖像庫中，每人僅選用一張圖片，作為入庫圖像，試驗中我們選取入庫圖像為編號為PIE27圖像子集，測試

30、集為對某個特定姿態(tài)下的重建正臉。識別算法分別采用了Gabor-SPR，PCA-LDA方法進行了檢驗。識別率如下圖所示：</p><p>　　同時，我們采用了LLR方法和本文方法進行對比，可以看出，本文的方法在識別率，特別是姿態(tài)角較大時(c11,c37)上具有較高的優(yōu)勢。</p><p><b>　　5 結(jié)論</b></p><p>　　本文提出

31、了基于稀疏表示的正臉合成算法，訓練具有相同稀疏表示系數(shù)的多姿態(tài)字典。并結(jié)合現(xiàn)有人臉識別方法，構(gòu)成姿態(tài)無關(guān)的人臉識別系統(tǒng)。同時，通過采用塊匹配和對稱信息，最大程度的降低了因姿態(tài)帶來的遮擋問題的影響，產(chǎn)生了較好的結(jié)果。我們在CMU-PIE數(shù)據(jù)庫上進行了多姿態(tài)數(shù)據(jù)的實驗。實驗結(jié)果表明，我們的方法對姿態(tài)變化具有很強的魯棒性，同時也保證了重建人臉在視覺上具有與真實正臉的相似性，對解決姿態(tài)問題具有現(xiàn)實意義。</p><p>

32、<b>　　參考文獻</b></p><p>　　[1] W. Zhao, R. Chellappa, P. J. Phillips, and A. Rosenfeld. Face recognition: A literature survey. ACM Computing Surveys, 35(4):399–458, 2003.</p><p>　　[2] Wi

33、skott, L.; Fellous, J.-M.; Kuiger, N.; von der Malsburg, C.; , "Face recognition by elastic bunch graph matching," Pattern Analysis and Machine Intelligence, IEEE Transactions on , vol.19, no.7, pp.775-779, Jul

34、 1997</p><p>　　[3] Belhumeur, P.N.; Hespanha, J.P.; Kriegman, D.J.; , "Eigenfaces vs. Fisherfaces: recognition using class specific linear projection," Pattern Analysis and Machine Intelligence, IE

35、EE Transactions on , vol.19, no.7, pp.711-720, Jul 1997</p><p>　　[4] V. Blanz, S. Romdhani, and T. Vetter, “Face Identification across Different Poses and Illumination with a 3D Morphable Model,” Proc. Fifth

36、 IEEE Int’l Conf. Automatic Face and Gesture Recognition, pp. 202-207, 2002.</p><p>　　[5] X. Chai, S. Shan, X. Chen, and W. Gao, “Locally Linear Regression for Pose-Invariant Face Recognition,” IEEE Trans. I

37、mage Processing, vol. 16, pp. 1716-1725, 2007.</p><p>　　[6] Annan Li; Shiguang Shan; Xilin Chen; Wen Gao; , "Maximizing intra-individual correlations for face recognition across pose differences,"

38、Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on , vol., no., pp.605-611, 20-25 June 2009</p><p>　　[7] Turk, M.A.; Pentland, A.P.; , "Face recognition using eigenfaces,"

39、 Computer Vision and Pattern Recognition, 1991. Proceedings CVPR '91., IEEE Computer Society Conference on , vol., no., pp.586-591, 3-6 Jun 1991</p><p>　　[8] Xiaogang Wang; Xiaoou Tang; , "A unified

40、 framework for subspace face recognition," Pattern Analysis and Machine Intelligence, IEEE Transactions on , vol.26, no.9, pp.1222-1228, Sept. 2004</p><p>　　[9] Wright, J.; Yang, A.Y.; Ganesh, A.; Sastr

41、y, S.S.; Yi Ma; , "Robust Face Recognition via Sparse Representation," Pattern Analysis and Machine Intelligence, IEEE Transactions on , vol.31, no.2, pp.210-227, Feb. 2009</p><p>　　[10] Xiaofei He

42、; Shuicheng Yan; Yuxiao Hu; Niyogi, P.; Hong-Jiang Zhang; , "Face recognition using Laplacianfaces," Pattern Analysis and Machine Intelligence, IEEE Transactions on , vol.27, no.3, pp.328-340, March 2005</p&

43、gt;<p>　　[11] Castillo, C.D.; Jacobs, D.W.; , "Using Stereo Matching with General Epipolar Geometry for 2D Face Recognition across Pose," Pattern Analysis and Machine Intelligence, IEEE Transactions on ,

44、 vol.31, no.12, pp.2298-2304, Dec. 2009</p><p>　　[12] Prince, S.J.D.; Warrell, J.; Elder, J.H.; Felisberti, F.M.; , "Tied Factor Analysis for Face Recognition across Large Pose Differences," Patter

45、n Analysis and Machine Intelligence, IEEE Transactions on , vol.30, no.6, pp.970-984, June 2008</p><p>　　[13] Jianchao Yang; Wright, J.; Huang, T.S.; Yi Ma; , "Image Super-Resolution Via Sparse Represen

46、tation," Image Processing, IEEE Transactions on , vol.19, no.11, pp.2861-2873, Nov. 2010 </p><p>　　[14] R. Gross, S. Baker, I. Matthews, and T. Kanade, “Face Recognition across Pose and Illumination,” H

47、andbook of Face Recognition, S.Z. Li and A.K. Jain, eds., Springer-Verlag, June 2004.</p><p>　　[15] A.B. Ashraf, S. Lucey, and T. Chen, “Learning Patch Correspondences for Improved Viewpoint Invariant Face R