視頻中的微笑狀態(tài)檢測(cè)方法研究

1、<p><b>　　畢業(yè)設(shè)計(jì)（論文）</b></p><p>　　題 目 視頻中的微笑狀態(tài)</p><p><b>　　檢測(cè)方法研究 </b></p><p>　　專 業(yè) 電子科學(xué)與技術(shù) </p><p>　　班 級(jí) 電子123 </p>

2、<p>　　學(xué) 生 姚 磊 </p><p>　　指導(dǎo)教師 孫 強(qiáng) </p><p>　　2016 </p><p>　　視頻中的微笑狀態(tài)檢測(cè)方法研究</p><p>　　專業(yè)：電子科學(xué)與技術(shù)</p><p><b>　　班級(jí)：電子123

3、班</b></p><p><b>　　作者：</b></p><p>　　指導(dǎo)教師： 職稱：副教授</p><p>　　答辯日期：2016-06-25</p><p><b>　　摘 要</b></p><p>　　近年來，隨著信息時(shí)代的發(fā)展，智能識(shí)

4、別技術(shù)發(fā)展迅速，基于視覺機(jī)器所傳達(dá)的視頻信息也趨于智能化。在機(jī)器視覺中，人臉面部表情往往能傳達(dá)出非語(yǔ)言所能傳遞的信息，而且對(duì)微笑的有效檢測(cè)能夠推動(dòng)表情識(shí)別的發(fā)展。</p><p>　　本文的微笑狀態(tài)檢測(cè)是在表情識(shí)別的基礎(chǔ)上進(jìn)行的，所圍繞的系統(tǒng)框架主要由視頻圖像讀取、人臉檢測(cè)、圖像預(yù)處理、特征提取和微笑與非微笑分類五部分構(gòu)成。第一步是通過視頻讀取圖像序列，再通過YCbCr顏色空間進(jìn)行膚色提取，檢測(cè)并定位出人臉；第二

5、步是對(duì)提取的人臉圖像進(jìn)行歸一化預(yù)處理，消除圖像中的干擾因素，然后在預(yù)處理后的人臉區(qū)域基礎(chǔ)上檢測(cè)并定位嘴部區(qū)域；第三步是基于嘴部區(qū)域進(jìn)行Harris角點(diǎn)檢測(cè)，得到嘴角高度坐標(biāo)Yavg；第四步是對(duì)多幅人臉表情圖像進(jìn)行訓(xùn)練，得到全部圖像的人臉嘴角高度坐標(biāo)平均值Pavg；最后一步是通過比較Yavg和Pavg，對(duì)輸入圖像序列進(jìn)行分類，得到微笑與非微笑兩種狀態(tài)。</p><p>　　通過本研究，最終得到了比較好的微笑狀態(tài)檢測(cè)

6、效果?？傮w上，該方法檢測(cè)速度較快，檢測(cè)的準(zhǔn)確度比較好，但是還有待于提升。</p><p>　　關(guān)鍵詞：機(jī)器視覺，膚色模型，Harris角點(diǎn)檢測(cè)，微笑檢測(cè)</p><p><b>　　Abstract</b></p><p>　　Recently,with the development of the information age, intel

7、ligent recognition technology is developing rapidly, the machine vision-based video information tends to convey intelligence. In machine vision, Facial expressions can often convey non-verbal information that can be pass

8、ed, a smile is part of the facial expression, it can contribute to the effective detection expression recognition development to some extent.</p><p>　　Smiling state detection of this paper is on the basis of

9、 facial expression recognition, the system framework around which mainly read frame images by the video , face detection, image processing, feature extraction ,smiling and unsmiling classification of five parts.The firs

10、t step is to read through the video image sequence through YCbCr color space skin extract, detect and locate human faces.The second step is extracted face image normalization preprocessing, to eliminate disturbances in t

11、he i</p><p>　　Through this study, eventually we got a better smile state detection effect. Generally, the method of detecting speed, detection accuracy is better, but still need to be improved.</p>&l

12、t;p>　　Keywords: machine vision, skin model, harris corner detector, smile detection </p><p><b>　　目 錄</b></p><p><b>　　第1章 緒論1</b></p><p><b>　　1.1

13、 引言1</b></p><p>　　1.2 研究背景及意義1</p><p>　　1.3 國(guó)內(nèi)外研究現(xiàn)狀2</p><p>　　1.4 主要工作及論文結(jié)構(gòu)4</p><p>　　第2章 人臉表情檢測(cè)方法論述6</p><p>　　2.1人臉圖像讀取與人臉檢測(cè)6</p><p

14、>　　2.1.1基于Haar-Adaboost的人臉檢測(cè)7</p><p>　　2.1.2基于膚色模型的人臉檢測(cè)7</p><p>　　2.2 人臉圖像預(yù)處理8</p><p>　　2.2.1直方圖均衡化9</p><p>　　2.2.2尺度歸一化與灰度歸一化9</p><p>　　2.2.3 平滑與銳

15、化10</p><p>　　2.3 人臉表情特征提取10</p><p>　　2.3.1 基于局部二元模式（LBP）的特征提取10</p><p>　　2.3.2基于方向梯度直方圖（HOG）算子的特征提取11</p><p>　　2.3.3 基于主成分分析（PCA）的特征提取11</p><p>　　2.3.

16、4 基于角點(diǎn)檢測(cè)的特征提取12</p><p>　　2.4 人臉表情分類13</p><p>　　2.4.1 基于人工神經(jīng)網(wǎng)絡(luò)（ANN）的分類方法14</p><p>　　2.4.2 基于支持向量機(jī)（SVM）的分類方法14</p><p>　　2.4.3基于極端學(xué)習(xí)機(jī)（ELM）的分類方法14</p><p>

17、　　2.5 本章小結(jié)15</p><p>　　第3章 微笑狀態(tài)檢測(cè)算法16</p><p>　　3.1 圖像讀取與人臉檢測(cè)16</p><p>　　3.1.1 色彩空間選擇16</p><p>　　3.1.2 膚色分割16</p><p>　　3.1.3 人臉分割17</p><p>

18、;　　3.2人臉圖像預(yù)處理18</p><p>　　3.3 人臉微笑特征提取18</p><p>　　3.3.1 嘴部檢測(cè)及定位19</p><p>　　3.3.2 嘴部特征提取20</p><p>　　3.4 人臉微笑狀態(tài)分類22</p><p>　　3.4.1 訓(xùn)練23</p><p

19、>　　3.4.2 測(cè)試23</p><p>　　3.4.3 分類24</p><p>　　3.5 本章小結(jié)24</p><p>　　第4章 Matlab實(shí)現(xiàn)與結(jié)果分析25</p><p>　　4.1 視頻圖像讀取與保存25</p><p>　　4.2 人臉檢測(cè)26</p><p&

20、gt;　　4.2.1 膚色分割26</p><p>　　4.2.2 人臉分割28</p><p>　　4.3 人臉表情圖像預(yù)處理28</p><p>　　4.3.1 尺度歸一化28</p><p>　　4.3.2 直方圖均衡化29</p><p>　　4.4 微笑特征提取30</p><

21、p>　　4.4.1 嘴部檢測(cè)與定位30</p><p>　　4.4.2 嘴部微笑特征提取32</p><p>　　4.5 微笑狀態(tài)分類34</p><p>　　4.5.1 訓(xùn)練34</p><p>　　4.5.2 測(cè)試35</p><p>　　4.5.3 分類37</p><p&g

22、t;　　4.6 本章小結(jié)39</p><p>　　第5章 總結(jié)與展望40</p><p>　　5.1 本課題工作小結(jié)40</p><p><b>　　5.2 展望41</b></p><p><b>　　致謝42</b></p><p><b>　　參考文

23、獻(xiàn)43</b></p><p><b>　　第1章 緒論</b></p><p><b>　　1.1 引言</b></p><p>　　隨著數(shù)碼產(chǎn)品的普及以及模式識(shí)別技術(shù)的發(fā)展，表情識(shí)別逐漸向著精致化、動(dòng)態(tài)化和智能化的方向發(fā)展。表情識(shí)別是基于視覺信息將臉部的運(yùn)動(dòng)或者臉部特征點(diǎn)的形變進(jìn)行分類，它的準(zhǔn)確分析是人機(jī)

24、交互、人類行為分析等領(lǐng)域中的一個(gè)重要組成部分，表情作為人們內(nèi)心情感的一種外在表達(dá)方式，蘊(yùn)含了人們的內(nèi)心狀態(tài)，所以對(duì)表情識(shí)別的研究了解人類的心理。微笑則是人臉表情中的一類，對(duì)它的準(zhǔn)確檢測(cè)能夠在一定程度上推動(dòng)表情識(shí)別的發(fā)展，同時(shí)更能夠表達(dá)更多人類所要傳達(dá)的心理信息，因此對(duì)微笑狀態(tài)進(jìn)行更深入、準(zhǔn)確的檢測(cè)非常有必要。</p><p>　　1.2 研究背景及意義</p><p>　　現(xiàn)代科技迅速發(fā)展

25、,人工智能技術(shù)在人們生活中的應(yīng)用逐漸擴(kuò)大。特征識(shí)別是通過分析人物特征,去識(shí)別人類行為或者心理。特征識(shí)別總體結(jié)合了圖像處理、模式識(shí)別、機(jī)器視覺等技術(shù),而且隨著社會(huì)的不斷發(fā)展，其自身自動(dòng)化和智能化程度不斷地提高,人們對(duì)人機(jī)交互的需要越來越多,通過計(jì)算機(jī)可以更加直接的理解人類的表情和心理,因此機(jī)器視覺逐漸深入人們的生活【1】。</p><p>　　視頻正是機(jī)器視覺的一種表現(xiàn)形式，它的智能化發(fā)展推動(dòng)了整個(gè)模式識(shí)別的進(jìn)步，

26、而微笑檢測(cè)正是模式識(shí)別功能中的一種。微笑檢測(cè)功能可更好地為人們提供在拍攝中所需要的場(chǎng)景拍攝，方便人們拍攝到瞬間產(chǎn)生的燦爛笑容，而且對(duì)于視頻的微笑狀態(tài)檢測(cè)，能讓人們直接觀察到人物的心理情緒，容易理解視頻所能傳遞的信息。因此，微笑檢測(cè)會(huì)為人們帶來更輕松的體驗(yàn)和樂趣。</p><p>　　目前，微笑狀態(tài)檢測(cè)功能已經(jīng)廣泛地應(yīng)用于現(xiàn)代科技產(chǎn)品中。 而且，微笑表情作為人臉表情中的一種，對(duì)它的有效檢測(cè)能夠推動(dòng)表情識(shí)別的發(fā)展，而

27、且表情識(shí)別在生活中已逐漸成為人們生活的熱點(diǎn)，廣泛應(yīng)用于人機(jī)交互、智能識(shí)別領(lǐng)域，具有很好的應(yīng)用價(jià)值，擁有更加智能化、自動(dòng)化的發(fā)展前景【2】。</p><p>　　綜上所述，視頻的微笑狀態(tài)檢測(cè)不僅能夠推動(dòng)現(xiàn)代科技的進(jìn)步，更能促進(jìn)模式識(shí)別的智能化發(fā)展。</p><p>　　1.3 國(guó)內(nèi)外研究現(xiàn)狀</p><p>　　20世紀(jì)70年代，人臉表情識(shí)別的研究才開始。1971年F

28、riesen和Ekman研究了憤怒、高興、悲傷、恐懼、厭惡、驚訝等6種人臉基本表情，并建立了上千幅不同的人臉表情數(shù)據(jù)庫(kù)，成為后來表情識(shí)別工作的基礎(chǔ)【2】。 </p><p>　　對(duì)于具體的微笑表情檢測(cè)的研究則開始于2007年。當(dāng)時(shí)，數(shù)碼相機(jī)推出的新品牌中增加了笑臉快門的功能。這種功能能夠自動(dòng)識(shí)別人物的微笑表情，并進(jìn)行對(duì)瞬間微笑的保存。近些年來,各種研究方法也競(jìng)相涌現(xiàn)。</p><p>　　

29、2009年，J.Whitehill和G.Littlewort等人提出使用箱式濾波器和邊緣方向直方圖的微笑狀態(tài)檢測(cè)系統(tǒng)；同年，Y.Baih和L.Guo等人提出使用方向梯度金字塔直方圖作為特征進(jìn)行微笑狀態(tài)檢測(cè)，該方法不適用于復(fù)雜條件下的微笑檢測(cè)；同時(shí)還有Y.H.Huang和C.S.Fuh提出了通過跟蹤人臉面部各個(gè)特征點(diǎn)的運(yùn)動(dòng)來進(jìn)行視頻微笑狀態(tài)的研究方法，此方法能夠精準(zhǔn)檢測(cè)人臉表情細(xì)微變化，但是算法復(fù)雜，計(jì)算量比較大，適合于學(xué)術(shù)研究方面【3】

30、。</p><p>　　2012年，C.Shan使用圖像的像素點(diǎn)強(qiáng)度差異進(jìn)行了微笑狀態(tài)的研究，該算法選擇的弱分類器是一個(gè)強(qiáng)分類器和弱分類器結(jié)合而成的，它的檢測(cè)是在一個(gè)真實(shí)的微笑檢測(cè)數(shù)據(jù)庫(kù)實(shí)現(xiàn)的中，達(dá)到了比較先進(jìn)的效果【4】；同年，國(guó)內(nèi)的西安電子科技大學(xué)嚴(yán)新平提出了基于特征融合的微笑檢測(cè)方法，即基于鑒別典型相關(guān)分析(DCCA)融合的方法得到了比較高的識(shí)別率【2】；同時(shí)，還有山東大學(xué)的張志遠(yuǎn)、孫濤等人提出一種基于嘴部

31、特征的微笑檢測(cè)方法，利用圖像強(qiáng)度差作為特征提取算法，將Adaboost（自適應(yīng)增強(qiáng)）用于訓(xùn)練強(qiáng)分類器，此檢測(cè)方法可達(dá)到了約88%的準(zhǔn)確率【5】。</p><p>　　2014年，Eduard Royce等人提出了基于提取人嘴部角點(diǎn)檢測(cè)的微笑狀態(tài)檢測(cè)系統(tǒng)，測(cè)試過程使用了Visio笑臉數(shù)據(jù)庫(kù)，準(zhǔn)確度達(dá)到77.5%，該方法算法簡(jiǎn)單，計(jì)算量小，適用一般產(chǎn)品應(yīng)用【3】；同年Hong Liu, Yuan Gao等人提出在無約

32、束條件下使用自相似特性梯度進(jìn)行微笑檢測(cè)的方法，該方法在特征提取過程中采用了自相似特性梯度的算法，在微笑分類過程中采用AdaBoost與SVM相結(jié)合的方法，達(dá)到了當(dāng)時(shí)比較先進(jìn)的檢測(cè)效果【6】；同年還有Treesa George，Sumi. P. Potty等人提出了在靜態(tài)圖像中基于KNN算法的微笑檢測(cè)方法，此方法通過提取嘴部，利用Haar級(jí)聯(lián)分類器，使用KNN匹配算法進(jìn)行訓(xùn)練，最終獲得66.6%的準(zhǔn)確率【7】。</p>&l

33、t;p>　　2015年，Le An，SongfanYang和BirBhanu提出了一種基于極限學(xué)習(xí)機(jī)(ELM)的微笑高校檢測(cè)方法，該方法相比于其他檢測(cè)方法，不需要手動(dòng)標(biāo)記特征點(diǎn)或者關(guān)鍵點(diǎn)檢測(cè)，沒有預(yù)處理過程，計(jì)算成本低，無參數(shù)調(diào)優(yōu)的麻煩。其原理是將ELM當(dāng)做訓(xùn)練分類器，性能與檢測(cè)效果比一般分類器好很多【8】。</p><p>　　這是目前在微笑檢測(cè)方面的一些研究方法，但是在對(duì)它進(jìn)行研究的過程中，也會(huì)遇到諸多

34、困難。比如如下總結(jié)：</p><p>　　1.人臉面部表情的復(fù)雜化和微表情的存在。人類表情是復(fù)雜多變的，對(duì)于微笑表情這一狀態(tài)，沒有比較確切的定義，只能是根據(jù)人物相關(guān)表情特征進(jìn)行具體的分析和分類。</p><p>　　2.非人物自身因素的影響。人臉區(qū)域可能由于頭發(fā)遮擋、眼鏡等外部物件的干擾及臉部妝容等影響，都會(huì)對(duì)人臉具體表情檢測(cè)產(chǎn)生干擾。 </p><p>　　3.外

35、界環(huán)境的影響。由于光照，導(dǎo)致人臉面部的亮度太強(qiáng)、太弱或者不均勻的現(xiàn)象，以及噪聲等的影響，會(huì)干擾人臉面部表情檢測(cè)的準(zhǔn)確度。</p><p>　　總之，目前表情狀態(tài)的識(shí)別還處于探索階段，真正的實(shí)現(xiàn)還需要做大量的研究，尤其在微笑狀態(tài)檢測(cè)方面。</p><p>　　1.4 主要工作及論文結(jié)構(gòu)</p><p>　　本文主要工作是研究基于視頻的微笑狀態(tài)檢測(cè)的方法，主要依據(jù)視頻圖

36、像讀取、圖像預(yù)處理、人臉檢測(cè)、特征提取和表情分類等五步運(yùn)用Matlab編程軟件進(jìn)行算法設(shè)計(jì)和結(jié)果分析。主要的部分是人臉檢測(cè)、特征提取、表情分類，其中人臉檢測(cè)運(yùn)用了膚色模型的算法思想，特征提取運(yùn)用了Harris角點(diǎn)檢測(cè)的方法，表情分類采用了基于支持向量機(jī)(SVM)的方法。</p><p>　　在論文結(jié)構(gòu)安排上，本文根據(jù)微笑檢測(cè)的五部分以及實(shí)驗(yàn)將內(nèi)容展開，共分五章。具體的安排如下：</p><p&

37、gt;　　第一章：緒論。簡(jiǎn)明敘述本課題的研究背景和意義，概括課題的國(guó)內(nèi)外研究現(xiàn)狀，闡述課題的主要工作和論文結(jié)構(gòu)。</p><p>　　第二章：人臉表情檢測(cè)基本方法的總結(jié)。將目前用于人臉面部表情研究的主流方法依次介紹，并分別闡述各自的算法思想，分析優(yōu)缺點(diǎn)。</p><p>　　第三章：微笑狀態(tài)檢測(cè)方法論述。圍繞視頻圖像讀取、人臉檢測(cè)、人臉圖像預(yù)處理、、特征提取和表情狀態(tài)分類五步主線，依次論述

38、各步算法思想，同時(shí)對(duì)算法運(yùn)行后的結(jié)果進(jìn)行全方位的分析與總結(jié)。首先第一步是通過視頻讀取圖像序列，再通過YCbCr顏色空間進(jìn)行膚色提取，檢測(cè)并定位出人臉區(qū)域；第二步是對(duì)已經(jīng)提取的人臉圖像進(jìn)行歸一化預(yù)處理，檢測(cè)并定位嘴部區(qū)域；第三步是在嘴部區(qū)域進(jìn)行特征提?。℉arris角點(diǎn)檢測(cè)）；第四步是對(duì)多幅人臉表情圖像進(jìn)行訓(xùn)練，然后對(duì)訓(xùn)練只進(jìn)行測(cè)試，驗(yàn)證其準(zhǔn)確性；最后一步是對(duì)輸入圖像序列進(jìn)行分類，得到微笑與非微笑兩種狀態(tài)。</p><

39、p>　　第四章：實(shí)驗(yàn)結(jié)果和分析?？偨Y(jié)算法運(yùn)行過程和結(jié)果分析。</p><p>　　第五章：課題總結(jié)與展望。對(duì)本課題研究方法與實(shí)驗(yàn)過程和結(jié)果進(jìn)行詳細(xì)的總結(jié)和歸納，并對(duì)本課題未來的發(fā)展提出大致的展望。</p><p>　　第2章 人臉表情檢測(cè)方法論述</p><p>　　本章主要分析人臉表情檢測(cè)方法的理論和基礎(chǔ)。人臉表情檢測(cè)的系統(tǒng)框架如圖2-1所示，本章主要依據(jù)該

40、系統(tǒng)介紹人臉表情檢測(cè)系統(tǒng)的具體實(shí)現(xiàn)方法和各個(gè)方法的算法思想,這些理論和思想是基于線性方法表情檢測(cè)的基礎(chǔ),然后分別分析各個(gè)算法的優(yōu)缺點(diǎn)。</p><p>　　圖2-1 人臉表情識(shí)別系統(tǒng)流程圖</p><p>　　2.1人臉圖像讀取與人臉檢測(cè) </p><p>　　視頻由幀圖像組成，讀取視頻并將視頻分解成連續(xù)的幀圖像序列，要進(jìn)行人臉表情檢測(cè)，首先得進(jìn)行原始圖像的人臉檢測(cè)

41、，然后才能進(jìn)入后續(xù)工作。常用且效果較好的的人臉檢測(cè)方法如下介紹：</p><p>　　2.1.1基于Haar-Adaboost的人臉檢測(cè)</p><p>　　基于Haar-Adaboost的人臉檢測(cè)方法是一種將Haar-Like特征與AdaBoost算法相結(jié)合的算法思想【2】。該方法首先是對(duì)圖像提取Haar-Like特征，檢測(cè)出人臉和非人臉區(qū)域；再根據(jù)AdaBoost算法提取需要的Haar

42、-Like特征，經(jīng)過不斷積迭代從正負(fù)樣本中獲得多個(gè)弱分類器；然后將訓(xùn)練獲得的弱分類器通過先行級(jí)聯(lián)獲得一個(gè)強(qiáng)分類器，組成一個(gè)完整的人臉檢測(cè)系統(tǒng)【9】。這種方法錯(cuò)誤率低，應(yīng)用廣泛，但是在訓(xùn)練過程中要提取圖像的所有Haar-Like特征，則非常耗費(fèi)時(shí)間，且隨著樣本數(shù)量的增加需要重新訓(xùn)練分類器，檢測(cè)效率低，因此應(yīng)根據(jù)具體的情況來決定是否應(yīng)該用該方法解決實(shí)際問題。</p><p>　　2.1.2基于膚色模型的人臉檢測(cè)<

43、;/p><p>　　基于膚色模型的人臉檢測(cè)是最原始也是應(yīng)用最普遍的一種人臉檢測(cè)方法，該方法是基于彩色圖像上的。一般人臉膚色的檢測(cè)可以在多個(gè)顏色空間中進(jìn)行，它是根據(jù)人臉膚色在各個(gè)色彩分量的分布范圍進(jìn)行檢測(cè)的【10-12】。</p><p>　　原始輸入的圖像樣本是基于RGB顏色空間上的，由于R、G、B這三個(gè)色彩分量都含有亮度信息，會(huì)隨著光照變化而發(fā)生改變，因此需要將RGB顏色空間轉(zhuǎn)換到其他顏色空

44、間再進(jìn)行膚色檢測(cè)，且在此之前需要對(duì)R、G、B三個(gè)分量進(jìn)行歸一化處理【12】?？梢赞D(zhuǎn)換到K-L空間、YCbCr或者YCgCr空間。從許多實(shí)驗(yàn)研究得知，RGB彩色圖片歸一化公式如公式2-1所示，從RGB顏色空間轉(zhuǎn)換到K-L空間、YCbCr空間和YCgCr空間的轉(zhuǎn)換公式分別如公式2-2、2-3【12】和2-4【21】所示。</p><p><b>　　(2-1) </b></p>&

45、lt;p><b>　　(2-2)</b></p><p><b>　　(2-3)</b></p><p><b>　　(2-4)</b></p><p>　　將顏色空間轉(zhuǎn)換后的圖像，亮度信息與色彩信息完全分離，就可以利用膚色在各自顏色空間上的色彩分量的類聚分布范圍進(jìn)行準(zhǔn)確的膚色檢測(cè)。常用的膚色檢

46、測(cè)基于YCbCr顏色空間，經(jīng)很多研究得知膚色在YCbCr空間上的色彩分布如下圖2-2所示，可以根據(jù)膚色在Cb、Cr分量上的區(qū)間范圍進(jìn)行膚色的提取。</p><p>　　對(duì)于一般的彩色圖像，膚色特征是一個(gè)很重要的信息，它不依靠于人臉面部的其他特征，有較強(qiáng)的穩(wěn)定性【11】。在顏色空間中，人臉的膚色色彩分布具有比較好的類聚性，所以利用膚色模型可準(zhǔn)確又快速地檢測(cè)出人臉區(qū)域。因此在本課題研究中就應(yīng)用了該方法進(jìn)行人臉檢測(cè)。&

47、lt;/p><p>　　2.2 人臉圖像預(yù)處理</p><p>　　在對(duì)人臉進(jìn)行特征提取之前，首先要做的就是對(duì)人臉圖像進(jìn)行預(yù)處理，而預(yù)處理過程其實(shí)就是對(duì)采集的圖像樣本進(jìn)行相關(guān)的預(yù)處理操作,減</p><p>　　少圖像樣本釆集的噪聲、光照等因素對(duì)表情檢測(cè)的影響。圖像的預(yù)處理</p><p>　　圖2-2 膚色分量在YCbCr顏色空間的分布示意圖【

48、12】</p><p>　　操作通常有光照、圖像大小、噪聲和姿勢(shì)的預(yù)處理。下面將具體介紹四種主要的圖像預(yù)處理方法。</p><p>　　2.2.1直方圖均衡化</p><p>　　直方圖均衡化其實(shí)就是增強(qiáng)圖像對(duì)比度的一種圖像處理方法，它能夠使圖像的原始不均勻直方圖變換為能夠均勻分布的新直方圖，然后按照新直方圖對(duì)原始圖像進(jìn)行調(diào)整【2,13】。但是直方圖均衡化也存在著缺

49、點(diǎn)，均衡化后的圖像灰度等級(jí)會(huì)相應(yīng)的減少，對(duì)比度有時(shí)會(huì)過分增強(qiáng)。 </p><p>　　2.2.2尺度歸一化與灰度歸一化</p><p>　　對(duì)于動(dòng)態(tài)視頻檢測(cè)出來的人臉圖像，可能由于拍攝距離、光照等的影響，會(huì)存在人臉位置、尺寸大小和灰度分布的不同和不均勻，對(duì)后期人臉特征提取會(huì)產(chǎn)生影響，因此需要對(duì)已經(jīng)檢測(cè)到的人臉圖像進(jìn)行尺度與灰度的歸一化處理【2,14】。歸一化過程就是將原始圖像信息以一個(gè)指定

50、的標(biāo)準(zhǔn)去調(diào)整，從而獲得方便、易處理的新圖像，經(jīng)它處理后的圖像不僅不會(huì)對(duì)后期的工作造成影響，而且還能完整地保留人的面部特征信息【10】。</p><p>　　2.2.3 平滑與銳化</p><p>　　平滑作為一種圖像預(yù)處理的方法，是因?yàn)樗軌驕p小或者消除圖像中的一些頻率比較高的分量，來減小圖像灰度級(jí)的高低起伏，使圖像變得平滑。另外，平滑濾波可以減小或者消除噪聲。其主要原理就是在一個(gè)窗口中求

51、取中心像素點(diǎn)周圍像素點(diǎn)灰度值的和來求取中心點(diǎn)和周圍點(diǎn)的灰度平均值，將該灰度平均值作為中心點(diǎn)的像素值。在實(shí)際應(yīng)用中，應(yīng)該視具體情況來選擇平滑模板尺寸的大小，過大時(shí)，雖然會(huì)使圖像噪聲消除的效果更好，但同時(shí)也會(huì)使圖像變得模糊。</p><p>　　圖像銳化處理就是為了增強(qiáng)目標(biāo)邊緣信息，使輪廓清晰度增強(qiáng)，起到增強(qiáng)高頻率分量的作用，其實(shí)也就是平滑處理的逆運(yùn)算。</p><p>　　2.3 人臉表情特

52、征提取</p><p>　　人臉表情特征提取是采用圖像處理技術(shù)從人臉面部圖像提取有用的能夠體現(xiàn)人臉表情特征的相關(guān)信息，它是表情檢測(cè)過程中最重要的一步，其核心是提取人臉面部中比較容易檢測(cè)的表情信息。目前國(guó)內(nèi)外已有多項(xiàng)研究是致力于此，下面介紹幾種比較常見且提取效果較好的研究方法。</p><p>　　2.3.1 基于局部二元模式（LBP）的特征提取</p><p>　　

53、局部二元模式（LBP）算子是對(duì)圖像紋理信息進(jìn)行提取的算法，它是通過檢測(cè)對(duì)圖像中的一點(diǎn)與其鄰近點(diǎn)的灰度值大小的信息描述來表示圖像局部的紋理結(jié)構(gòu)【2,13】。如果用簡(jiǎn)單的描述，那么LBP算子就是可將窗口分割為3*3的子窗口，把中心點(diǎn)像素值當(dāng)做閾值，用周圍的8個(gè)像素點(diǎn)的灰度值與中心點(diǎn)灰度值進(jìn)行比較，若周圍點(diǎn)灰度值大于中心點(diǎn)灰度值，就記錄為1，小于就記錄為0，然后將所有相鄰窗口的二進(jìn)制值成一對(duì)應(yīng)的權(quán)值，得到每個(gè)子窗口最終的LBP直方圖特征值，再

54、連接各個(gè)子窗口的最終LBP特征值，最后就得到人臉表情圖像總體的LBP特征【8,15】。</p><p>　　該方法存在著各方面的優(yōu)點(diǎn)與不足。首先它計(jì)算簡(jiǎn)單,訓(xùn)練成本低，分類效率高，而且分類能力比較好，但是對(duì)于大尺寸的目標(biāo)對(duì)象，在紋理特征提取上還存在局限性。</p><p>　　2.3.2基于方向梯度直方圖（HOG）算子的特征提取</p><p>　　方向梯度直方圖（

55、HOG）是一個(gè)用于描述圖像局部梯度向量分布的描繪子，描述物體的局部特征點(diǎn)特征，該算子是在細(xì)胞單元上進(jìn)行相關(guān)計(jì)算的，它是通過計(jì)算目標(biāo)物體在局部的方向梯度直方圖組成HOG結(jié)構(gòu)特征的【2,8】。算法過程與LBP相似，但兩者也有不同之處，LBP提取的是灰度直方圖，HOG提取的是方向梯度直方圖，具有幾何與光學(xué)不變性，特征提取性能比LBP好。</p><p>　　2.3.3 基于主成分分析（PCA）的特征提取</p&g

56、t;<p>　　基于主成分分析的特征提取方法是比較常用的方法之一，它能夠輸出比較少且較準(zhǔn)確的特征信息來描述輸入的圖像樣本，是一種能夠降低數(shù)據(jù)維度的重要方法【13】，它基于K-L（霍特林變換）變換的理論基礎(chǔ)，它就是用一組相互之間沒有聯(lián)系的全面參數(shù)取代全部初始參數(shù)數(shù)據(jù)，這組相互之間沒有關(guān)系的全面參數(shù)就稱為主成分【15】。換句話說，PCA也就是一種利用正交變換的統(tǒng)計(jì)過程。</p><p>　　對(duì)于PCA特

57、征提取方法，又優(yōu)點(diǎn)的同時(shí)也有不足。它的適用性比較強(qiáng)，識(shí)別速度比較快，特別是具有降低數(shù)據(jù)維度的優(yōu)點(diǎn)，因此在圖像處理方面應(yīng)用廣泛【16】。但是從許多研究實(shí)驗(yàn)中可知，PCA用于表情檢測(cè)時(shí)，基本上對(duì)于面部動(dòng)作比較大的表情檢測(cè)準(zhǔn)確率比較高，對(duì)于表情明顯的，檢測(cè)率偏低，因此PCA特征提取不適用微笑狀態(tài)檢測(cè)。</p><p>　　2.3.4 基于角點(diǎn)檢測(cè)的特征提取</p><p>　　基于角點(diǎn)檢測(cè)的特征

58、提取系統(tǒng)是于2014年提出來的，它是一種基于唇角落的表情識(shí)別系統(tǒng)。具體地說，就是有表情的人的嘴角相比于無表情時(shí)通常會(huì)升高或者降低，因此通過檢測(cè)嘴角的位置，就能夠檢測(cè)出人的表情狀態(tài)。目前已經(jīng)有兩種角點(diǎn)檢測(cè)器用于研究人臉的表情，分別是Harris角檢測(cè)器和FAST角檢測(cè)器【3】。下面簡(jiǎn)單介紹這兩種檢測(cè)器。</p><p>　　a.FAST角點(diǎn)檢測(cè)</p><p>　　FAST角點(diǎn)檢測(cè)又稱快速角

59、點(diǎn)檢測(cè)，最早是于2006年提出來的，該算法檢測(cè)出的角點(diǎn)是指在某一像素點(diǎn)的鄰近區(qū)域內(nèi)有很多的像素點(diǎn)與該中心像素點(diǎn)位于不同區(qū)域的中心像素點(diǎn)，放到灰度圖像中，就是指有很多像素點(diǎn)的灰度值大于或者小于中心像素點(diǎn)灰度值的像素點(diǎn)【17】。比如圖2-3，在點(diǎn)P周圍取以3位半徑的圓環(huán)上的16個(gè)點(diǎn)，取其中連續(xù)12個(gè)點(diǎn)的灰度值與P點(diǎn)的灰度值的差大于某一個(gè)閾值，則P點(diǎn)可當(dāng)成一個(gè)角點(diǎn)【18】。</p><p>　　從許多科學(xué)研究可知，F(xiàn)A

60、ST角點(diǎn)檢測(cè)算法相比其他的角點(diǎn)檢測(cè)算法，它的檢測(cè)效率是比較快的，但是當(dāng)輸入的樣本圖像存在較多噪點(diǎn)時(shí)，其穩(wěn)定性并不好，還需要依靠一個(gè)閾值。因此該算法只適用于一些無噪點(diǎn)或者噪點(diǎn)較少的情況。</p><p>　　圖2-3 FAST角點(diǎn)檢測(cè)原理示意圖</p><p>　　b.Harris角點(diǎn)檢測(cè)</p><p>　　Harris角點(diǎn)檢測(cè)的提出基于1988年，它就是的基本原理

61、就是在輸入樣本圖像需要進(jìn)行特征提取的區(qū)域通過計(jì)算垂直和水平方向上的梯度值，求出每個(gè)像素點(diǎn)的Harris響應(yīng)值，通過抑制極大值，得到局部的極大值像素點(diǎn)，即為檢測(cè)到的角點(diǎn)【3,18】。該算法的穩(wěn)定性與計(jì)算過程中的靈敏度k有關(guān)，若k取得合適，則該算法即具有比較好的穩(wěn)定性，因此本課題就采用的是Harris角點(diǎn)檢測(cè)進(jìn)行人臉表情特征提取的，算法的具體原理與詳細(xì)計(jì)算過程如后面所敘述。</p><p>　　2.4 人臉表情分類&

62、lt;/p><p>　　表情分類是指對(duì)人臉圖像通過某種面部特征信息的提取和分析，進(jìn)行歸類的一個(gè)過程，該過程目前比較高效的方法有三個(gè)，下面依次敘述。</p><p>　　2.4.1 基于人工神經(jīng)網(wǎng)絡(luò)（ANN）的分類方法</p><p>　　人工神經(jīng)網(wǎng)絡(luò)是模擬神經(jīng)網(wǎng)絡(luò)的一種物理模型，由神經(jīng)元組成，其分類是基于神經(jīng)網(wǎng)絡(luò)樹的，將面部表情圖像的特征坐標(biāo)位置及灰度信息通過網(wǎng)絡(luò)樹來進(jìn)

63、行分類【13,14】，具有很好的識(shí)別效果，但是在訓(xùn)練的過程中采用了遺傳算法，非常耗費(fèi)時(shí)間。常用的是基于Hopfield神經(jīng)網(wǎng)絡(luò)和三層BP神經(jīng)網(wǎng)絡(luò)的方法。</p><p>　　2.4.2 基于支持向量機(jī)（SVM）的分類方法</p><p>　　支持向量機(jī)SVM是在統(tǒng)計(jì)學(xué)基礎(chǔ)上發(fā)展的一種分類方法，是專門用來有限樣本預(yù)測(cè)研究的【2】，方便解決小樣本、非線性和高維問題，在人臉表情識(shí)別方面應(yīng)用廣泛。

64、它的原理是通過合適的內(nèi)積函數(shù)進(jìn)行非線性變換，尋找最優(yōu)線性分類面【16,19】。對(duì)于線性支持向量機(jī)在學(xué)習(xí)機(jī)器的圖像過濾器，在有效像素值的分類也是呈現(xiàn)線性的。SVM是學(xué)習(xí)型機(jī)器，它是通過數(shù)學(xué)方法來解決問題的【20】。</p><p>　　2.4.3基于極端學(xué)習(xí)機(jī)（ELM）的分類方法</p><p>　　ELM算法是一種具有良好性能的單隱層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法,和普通學(xué)習(xí)算法相比，它的訓(xùn)練速度比

65、較快，且易于實(shí)現(xiàn)，在處理線性和非線性回歸問題中，具有良好的預(yù)測(cè)能力，已經(jīng)被廣泛使用于模式分類、系統(tǒng)識(shí)別等許多領(lǐng)域【16】。與SVM分類器相比,ELM分類器的檢測(cè)精度較高，ELM算法訓(xùn)練模型在跨數(shù)據(jù)庫(kù)評(píng)估中更有優(yōu)勢(shì)。對(duì)于人臉微笑狀態(tài)的檢測(cè)，此算法計(jì)算過程中，不需要預(yù)處理和手動(dòng)標(biāo)記關(guān)鍵點(diǎn)，自動(dòng)化程度比較高，在微笑檢測(cè)精度方面有很大的競(jìng)爭(zhēng)力【8】。</p><p><b>　　2.5 本章小結(jié)</b&g

66、t;</p><p>　　本章主要論述了人臉表情檢測(cè)四大部分的主流方法,簡(jiǎn)單的說明了每個(gè)部分中的每類方法的主要算法思想,并且總結(jié)了各自的優(yōu)缺點(diǎn),為本課題的實(shí)際算法研究提供了理論基礎(chǔ)。</p><p>　　第3章 微笑狀態(tài)檢測(cè)算法</p><p>　　3.1 圖像讀取與人臉檢測(cè)</p><p>　　3.1.1 色彩空間選擇</p>

67、<p>　　膚色分割是建立在色彩空間上的,但由于膚色在不同色彩空間中聚類分布的范圍有不同,因此尋找適合于膚色分割的顏色空間十分重要。目前,在人臉檢測(cè)中常用的有RGB、YCbCr、YCgCr等四種顏色空間【21】.</p><p>　　輸入的樣本圖像是基于RGB顏色空間的，由于此空間的所有色彩分量都與亮度信息有關(guān)，當(dāng)圖像存在不同強(qiáng)度的光照時(shí)，人臉膚色會(huì)發(fā)生變化，因此用RGB顏色空間進(jìn)行膚色檢測(cè)是不適用的

68、,需要轉(zhuǎn)換到其他顏色空間進(jìn)行檢測(cè)【10】；YCbCr彩色空間是標(biāo)準(zhǔn)編碼的空間模型,被廣泛應(yīng)用于各個(gè)領(lǐng)域，能夠?qū)⒘炼确至窟M(jìn)行分離，適合人臉檢測(cè)；顏色空間YCgCr是在YCbCr彩色空間基礎(chǔ)上發(fā)展而來的,使用Cg來代替Cb，但是其在人臉檢測(cè)方面的適用性比YCbCr稍微差一些，因此本課題應(yīng)用了YCbCr顏色空間進(jìn)行膚色檢測(cè)。 </p><p>　　3.1.2 膚色分割</p><p>　　選擇在

69、YCbCr顏色空間進(jìn)行膚色檢測(cè)，據(jù)大量研究得知：人的膚色在Cb分量的取值范圍大致為[75，120]，在Cr分量的取值范圍大致為[127，180]。首先據(jù)公式2-3將輸入圖像轉(zhuǎn)換至YCbCr空間，再根據(jù)Cb與Cr的膚色取值范圍將圖像進(jìn)行膚色二值化，即將不屬于該取值范圍的像素點(diǎn)的值取為0，屬于膚色取值范圍的像素點(diǎn)的值取為1，最后得到原始圖像的膚色二值化圖像【10,21】。其計(jì)算公式如3-1所示【12】。</p><p&g

70、t;　?。?-1） </p><p>　　但是由于會(huì)有背景、衣服等的類似膚色顏色的點(diǎn)，存在噪點(diǎn)，也會(huì)使膚色區(qū)域出現(xiàn)空洞或者不連續(xù)的地方，導(dǎo)致膚色區(qū)域分割不明顯，因此需要通過形態(tài)學(xué)處理【10】來消除這些影響。</p><p>　　形態(tài)學(xué)處理一般有膨脹運(yùn)算、腐蝕運(yùn)算、開運(yùn)算和閉運(yùn)算四種，此處選擇先腐蝕、后膨脹。腐蝕運(yùn)算的數(shù)學(xué)計(jì)算表達(dá)式如公式3-2所示，目的是將膚色二值圖像中的一些像素點(diǎn)

71、向內(nèi)收縮，消除膚色區(qū)域邊界上的噪點(diǎn)；膨脹運(yùn)算的數(shù)學(xué)計(jì)算表達(dá)式如公式3-3所示，目的是將膚色二值圖像中的一些像素點(diǎn)稍微向外擴(kuò)張，使膚色區(qū)域邊界更平滑。 </p><p>　　假設(shè)有集合M和集合N，M被N服腐蝕，記作，其數(shù)學(xué)計(jì)算表達(dá)式為:</p><p>　　. (3-2) </p><p><b>　　式中

72、，表示空集合。</b></p><p>　　假設(shè)有集合M和結(jié)構(gòu)元素N,M被N膨脹記為,其數(shù)學(xué)計(jì)算表達(dá)式為：</p><p>　　. (3-3)</p><p><b>　　式中，表示空集合。</b></p><p>　　通過形態(tài)學(xué)處理得到比較完整的膚色區(qū)域，但是有脖子部分

73、的影響，使得人臉區(qū)域與脖子區(qū)域未能分開，因此運(yùn)用連通區(qū)域的長(zhǎng)寬之比小于2的條件，將人臉與脖子區(qū)域用紅色矩形框進(jìn)行定位，并利用矩形區(qū)域切割原理將定位的膚色區(qū)域從原始彩色圖像中分割出來。</p><p>　　3.1.3 人臉分割</p><p>　　獲得人臉與脖子區(qū)域的彩色圖像后，將其二值化處理，得到人臉與脖子區(qū)域的二值化圖像，由于人臉與脖子之間存在陰影，容易將臉部與脖子區(qū)域分開，此時(shí)臉部與脖

74、子部分各有一個(gè)面積大小不同且長(zhǎng)寬比例不同的連通區(qū)域。</p><p>　　從許多試驗(yàn)研究得知，一般人臉的長(zhǎng)寬之比小于2，因此利用此條件，檢測(cè)人臉區(qū)域，并用紅色矩形框定位該區(qū)域，最后利用圖像切割原理將矩形人臉區(qū)域從第一次切割的人臉脖子圖像中切割出來，得到真正的人臉圖像，這時(shí)人臉檢測(cè)才算真正完成。</p><p>　　3.2人臉圖像預(yù)處理</p><p>　　由于本課題

75、的研究是基于動(dòng)態(tài)視頻的，那么提取得人臉圖像會(huì)存在尺寸大小不一致的現(xiàn)象，因此為了更容易進(jìn)行特征提取工作，還應(yīng)對(duì)人臉圖像進(jìn)行尺寸歸一化處理【10】，這里將尺寸固定為400*999。</p><p>　　另外，檢測(cè)到的人臉圖像，由于光照不均勻?qū)е氯四橆~頭與嘴凸出之處的像素值變化太大，所以選擇直方圖均衡化預(yù)處理操作【2,13】。直方圖均衡化其實(shí)就是增強(qiáng)圖像對(duì)比度的一種圖像處理方法，它能夠使圖像的原始不均勻直方圖變換為能夠

76、均勻分布的新直方圖，然后按照新直方圖對(duì)原始圖像進(jìn)行調(diào)整，得到新的人臉圖像，再進(jìn)行后續(xù)工作。</p><p>　　3.3 人臉微笑特征提取</p><p>　　人臉圖像預(yù)處理后的工作就是人臉微笑特征的提取，對(duì)于微笑，人臉上的嘴部和臉頰肌肉紋理的變化是最明顯的，由于臉頰肌肉紋理的變化程度不容易對(duì)其進(jìn)行定義和提取，因此本課題采用對(duì)嘴部特征進(jìn)行提。主要通過嘴部在人臉區(qū)域的幾何位置關(guān)系進(jìn)行嘴部的檢測(cè)

77、，用矩形框?qū)z測(cè)的嘴部進(jìn)行定位，并利用Harris角點(diǎn)檢測(cè)對(duì)嘴部進(jìn)行角點(diǎn)檢測(cè)，通過提取嘴角兩端的兩個(gè)角點(diǎn)的平均垂直坐標(biāo)，來表示人臉的微笑程度，以此作為提取的特征對(duì)象。</p><p>　　下面將詳細(xì)敘述該算法的原理，并分析所用算法的優(yōu)點(diǎn)與不足。</p><p>　　3.3.1 嘴部檢測(cè)及定位</p><p>　　a.基于唇色的嘴部檢測(cè)及定位</p>&

78、lt;p>　　由于在檢測(cè)人臉時(shí)采用的是膚色模型的方法，由于人的嘴唇的顏色與臉部膚色是有一定差別的，所以在嘴部檢測(cè)的時(shí)候首先想到的是采用利用唇色進(jìn)行檢測(cè)。同人臉檢測(cè)原理相似，不同的是唇色在YCbCr顏色空間里的Cb、Cr分量的取值范圍分別是[30,137]和[40,170]，同時(shí)由于上嘴唇上半部分和下嘴唇上半部分受到了光照的影響，所以在此也考慮了具體Y分量的取值范圍[40,170]，再次運(yùn)用矩形框?qū)ψ觳繀^(qū)域進(jìn)行定位，利用分割原理將定

79、位好的矩形框嘴部區(qū)域進(jìn)行分割，得到需要的嘴部圖像。</p><p>　　b.基于嘴部在人臉的幾何位置的嘴部檢測(cè)與定位</p><p>　　在利用唇色檢測(cè)嘴部區(qū)域之后，考慮到動(dòng)態(tài)視頻中人臉的姿態(tài)變化，會(huì)降低檢測(cè)的準(zhǔn)確率，因此想到人臉的五官在人臉面部的位置比例關(guān)系，可以在尺度歸一化后的人臉圖像上按照尺寸比例進(jìn)行嘴的檢測(cè)與定位。</p><p>　　根據(jù)人臉一般比例，人臉

80、水平方向的1/2，垂直方向自上往下3/4處基本上可以作為嘴部的中心，如圖3-1所示。但是由于不同人臉存在差異，所以在進(jìn)行嘴部中心定位時(shí)，要根據(jù)的人臉的具體比例而確定【21】。 </p><p>　　圖3-1 嘴部位于人臉的位置比例示意圖【9】</p><p>　　當(dāng)確定嘴部中心點(diǎn)的具體位置時(shí)，可設(shè)人臉圖像的尺寸為H*W,根據(jù)嘴的大致長(zhǎng)度160和嘴穿產(chǎn)生的最大高度65確定矩形框的起始位置：（

81、(0.3*H)-35，(0.4*W)-131），矩形框就設(shè)置成65*160大小，最后根據(jù)該矩形框?qū)ψ觳窟M(jìn)行分割，得到固定大小的嘴部圖像。</p><p>　　3.3.2 嘴部特征提取</p><p>　　a.嘴部角點(diǎn)檢測(cè)流程圖</p><p>　　對(duì)嘴部進(jìn)行檢測(cè)與定位之后，就要進(jìn)行特征提取部分了。其流程圖如圖3-2所示。</p><p>　　

82、其中的Pavg是訓(xùn)練得到的平均唇角位置,Yavg是嘴角兩端角點(diǎn)垂直方向的平均角點(diǎn)位置坐標(biāo)。</p><p>　　由于人在微笑的時(shí)候嘴角會(huì)上揚(yáng)，因此利用了嘴角的位置變化幅度可以檢測(cè)出人是否處于微笑狀態(tài)。因此就會(huì)需要有一個(gè)人臉無表情時(shí)嘴角的位置標(biāo)準(zhǔn)，而且也需要嘴部圖像的尺寸大小統(tǒng)一，這樣測(cè)試的結(jié)果準(zhǔn)確率才會(huì)穩(wěn)定且準(zhǔn)確。因此進(jìn)行比較之后，最終選擇采用基于嘴部在人臉的幾何位置進(jìn)行嘴部的檢測(cè)與定位。</p>

83、<p>　　b.Harris角點(diǎn)檢測(cè)算法原理與步驟</p><p>　　檢測(cè)嘴角的位置變化的前提就是要檢測(cè)出嘴角的位置，因此依據(jù)2.3.4介紹，最終采用了Harris角點(diǎn)檢測(cè)法進(jìn)行嘴角點(diǎn)檢測(cè)。Harris角點(diǎn)檢測(cè)，就通過檢測(cè)圖像的每一個(gè)像素點(diǎn)并求取每一點(diǎn)水平方向與垂直</p><p>　　方向的梯度值，計(jì)算相應(yīng)的角點(diǎn)響應(yīng)值RH,并取3*3的鄰域進(jìn)行極大值尋找，限制提取的角點(diǎn)個(gè)數(shù)，

84、使?jié)M足像素點(diǎn)的RH大于設(shè)定的閾值T，且滿</p><p>　　足RH在3*3鄰域內(nèi)是局部的極大值這兩個(gè)條件的像素點(diǎn)就被當(dāng)作是檢測(cè)</p><p>　　圖3-2 嘴部特征提取系統(tǒng)流程圖【3】</p><p>　　出來的角點(diǎn)。設(shè)圖像I的像素點(diǎn)為,Harris角點(diǎn)檢測(cè)算法步驟如下【3,18】：</p><p>　　（1）分別求取像素點(diǎn)在橫軸與縱軸的

85、梯度值；</p><p>　?。?）分別求出在水平方向與垂直方向的梯度乘積：</p><p>　??；； （3-4） </p><p>　?。?）定義高斯窗w，用來代替原有的二值窗口；</p><p>　?。?-5） </p><p>　　（4）對(duì)公式3-4的三個(gè)結(jié)果分別進(jìn)行高斯加

86、權(quán)，產(chǎn)生A、B、C三個(gè)元素：</p><p>　?。?（3-6）</p><p>　??； （3-7）</p><p>　　. (3-8) </p><p><b>　?。?）定義矩陣M：</b>

87、;</p><p><b>　?。?-9）</b></p><p>　　（6）求取像素點(diǎn)的Harris角點(diǎn)響應(yīng)值RH，設(shè)定小于閾值T的RH的值為0：</p><p><b>　?。?-10）</b></p><p>　　其中K為經(jīng)驗(yàn)常數(shù)，一般取0.04~0.08，這里K取0.09，表示矩陣M的行列式

88、，為矩陣M的直跡，即如公式3-11、3-12所示：</p><p><b>　　（3-11）</b></p><p><b>　?。?-12）</b></p><p>　?。?）取3*3鄰域內(nèi)的極大值并進(jìn)行極大值個(gè)數(shù)限制，將局部極大值作為檢測(cè)的角點(diǎn)；</p><p>　　（8）記錄角點(diǎn)在原始嘴部圖像

89、的位置坐標(biāo)，并保存為二維矩陣格式進(jìn)行輸出。</p><p>　　輸出檢測(cè)角點(diǎn)的位置坐標(biāo)矩陣后，為求取嘴角兩端的角點(diǎn)平均值，根據(jù)提取橫坐標(biāo)的最大值與最小值在輸出矩陣中分別提取相應(yīng)的縱坐標(biāo)，得到最兩端角點(diǎn)坐標(biāo)，從而求得極端角點(diǎn)垂直方向的平均值，并作為該嘴部表情圖像的最終特征提取值。此時(shí)完成嘴部表情特征提取工作。</p><p>　　3.4 人臉微笑狀態(tài)分類</p><p&g

90、t;　　在進(jìn)行微笑特征提取之后，就要進(jìn)行最后表情分類步驟了。首先得通過大量的各種表情圖像進(jìn)行訓(xùn)練得到平均嘴角位置值Pavg,再次運(yùn)用少量的表情圖像進(jìn)行測(cè)試，分析測(cè)試結(jié)果達(dá)到預(yù)想的效果，最后把視頻中提取的圖像序列依據(jù)特征提取結(jié)果與訓(xùn)練值進(jìn)行相關(guān)操作，對(duì)圖像序列進(jìn)行微笑與非微笑表情分類【22】，并最終回歸到視頻，在視頻中的微笑狀態(tài)進(jìn)行具體的標(biāo)記。</p><p><b>　　3.4.1 訓(xùn)練</b&g

91、t;</p><p>　　這里運(yùn)用的表情圖像采用的是自定義的一個(gè)圖像庫(kù)，一共有35張，其中有不同的表情圖像，圖像越多，得到的訓(xùn)練結(jié)果就越接近實(shí)際值。進(jìn)行圖像訓(xùn)練其實(shí)就是求取表情分類的參數(shù)標(biāo)準(zhǔn)Pavg，其具體過程跟前期工作基本一樣，對(duì)訓(xùn)練庫(kù)圖像進(jìn)行循環(huán)處理，記錄并保存每張訓(xùn)練圖像的Yavg,最終求取所有訓(xùn)練圖像的Yavg的總合sum和平均值Pavg。計(jì)算公式如下：</p><p><b

92、>　　（3-13）</b></p><p><b>　?。?-14）</b></p><p><b>　　3.4.2 測(cè)試</b></p><p>　　在進(jìn)行訓(xùn)練得到訓(xùn)練值Pavg后，由于不能確定其準(zhǔn)確率，因此不能直接用于微笑狀態(tài)的分類，而是要將該訓(xùn)練值用于另外一些圖像集進(jìn)行test驗(yàn)證，如果測(cè)試結(jié)果表明

93、準(zhǔn)確率較高，則證明此訓(xùn)練值可用于最后的分類工作；若準(zhǔn)確率較低，則應(yīng)該重新進(jìn)行訓(xùn)練，或者重新進(jìn)行特征提取工作，直至訓(xùn)練出的值能夠在最后的分類過程中得到效果比較好的分類結(jié)果。</p><p><b>　　3.4.3 分類</b></p><p>　　通過訓(xùn)練得到了參數(shù)Pavg，而且通過測(cè)試也驗(yàn)證了該值得準(zhǔn)確率，這時(shí)將視頻中提取的圖像序列作為輸入樣本進(jìn)行微笑與非微笑狀態(tài)的分

94、類了，提取的二百多張圖像樣本進(jìn)行循環(huán)處理，其中如果Yavg<Pavg,即嘴角上揚(yáng)程度可以認(rèn)為處于微笑狀態(tài)，則分類器輸出結(jié)果為微笑，否則輸出為非微笑【3】。本實(shí)驗(yàn)中默認(rèn)圖像左上角為坐標(biāo)系的原點(diǎn)（0，0）。</p><p><b>　　3.5 本章小結(jié)</b></p><p>　　本章主要介紹了基于視頻中的微笑狀態(tài)檢測(cè)方法研究具體課題的研究算法，并且對(duì)每一部分所運(yùn)用

95、的算法原理進(jìn)行了詳細(xì)的介紹。</p><p>　　第4章 Matlab實(shí)現(xiàn)與結(jié)果分析</p><p>　　第3章主要介紹了微笑狀態(tài)檢測(cè)的具體設(shè)計(jì)算法，并對(duì)一些參數(shù)做了相應(yīng)的說明，下面就將以上算法進(jìn)行實(shí)現(xiàn)，對(duì)運(yùn)行的結(jié)果進(jìn)行展示和分析，并提出改進(jìn)意見。</p><p>　　4.1 視頻圖像讀取與保存</p><p>　　視頻是由幀圖像序列組成的

96、，因此第一步的工作就是將視頻分解成幀圖像序列并進(jìn)行保存，讀取的部分幀圖像如圖4-1所示，圖像保存部分記錄如圖4-2所示。運(yùn)行視頻幀率為25fps,時(shí)長(zhǎng)約11秒，保存圖像279張。</p><p>　　圖4-1 讀取的部分幀圖像序列圖例</p><p>　　圖4-2 幀圖像保存圖像</p><p><b>　　4.2 人臉檢測(cè)</b></p

97、><p>　　人臉檢測(cè)，分為膚色區(qū)域分割和人臉區(qū)域分割兩部分。膚色區(qū)域分割又分為膚色區(qū)域提取、定位于膚色區(qū)域分割，人臉分割是在膚色分割的基礎(chǔ)上對(duì)膚色區(qū)域進(jìn)行處理人臉區(qū)域的檢測(cè)、定位與分割。下面對(duì)各個(gè)步驟的結(jié)果與分析進(jìn)行一一敘述。</p><p>　　4.2.1 膚色分割</p><p><b>　　a.膚色提取 </b></p>&l

98、t;p>　　在YCbCr顏色空間，人的膚色在Cb分量的取值范圍大致為[77，127]，在Cr分量的取值范圍大致為[120，180]。膚色提取效果圖分別如圖4-3所示。</p><p>　　(a) (b)</p><p>　　圖4-3 原始圖像（a）與膚色二值化圖像（b）</p><p>　　由于存在噪點(diǎn)，膚色邊緣有空洞跟不連續(xù)的地

99、方，要進(jìn)行形態(tài)學(xué)處理，先腐蝕后膨脹，其結(jié)果如圖4-4所示。</p><p>　　(a) (b) (c)</p><p>　　圖4-4 形態(tài)學(xué)處理效果圖像</p><p><b>　　b.膚色分割</b></p><p>　　膚色提取后，根據(jù)形態(tài)學(xué)處

100、理過的膚色提取圖像中的連通區(qū)域的長(zhǎng)寬比小于2且面積最大的限制條件進(jìn)行選中該膚色區(qū)域，并用綠色矩形框定位該膚色區(qū)域，再調(diào)用imcrop函數(shù)將該區(qū)域單個(gè)分割出來，其效果圖如圖4-5所示。</p><p>　　對(duì)于圖4-3，由于背景有類似膚色的像素點(diǎn)，因此膚色二值化產(chǎn)生的圖像除了真正的膚色之外，還存在較多的偽膚色點(diǎn)和噪點(diǎn)，如圖4-3（b）所示，效果不是很理想，因此需要先通過腐蝕運(yùn)算，消除一些偽膚色點(diǎn)與噪點(diǎn)，效果如圖4-

101、4（b）所示，達(dá)到了預(yù)期的效果；同時(shí)由于腐蝕運(yùn)算會(huì)將真正的膚色區(qū)域邊緣變得粗糙，因此再利用膨脹運(yùn)算，是膚色邊緣變得平滑，效果如圖4-4（c）所示，達(dá)到了理想的效果。 </p><p>　　正如下圖4-5（a）所示，綠色矩形框恰好如預(yù)期的想法準(zhǔn)確地對(duì)膚色區(qū)域進(jìn)行了定位，然后調(diào)用imcrop函數(shù)對(duì)該矩形區(qū)域進(jìn)行了準(zhǔn)確地分割，此時(shí)已經(jīng)完成膚色分割部分。</p><p>　　(a)

102、 (b)</p><p>　　圖4-5 膚色區(qū)域定位（a）與膚色切割（b）效果圖像</p><p>　　4.2.2 人臉分割</p><p>　　完成膚色分割后，由于人臉下巴與脖子之間由于存在光照導(dǎo)致的陰影部分，因此可通過二值化處理將人臉與脖子分開，形成兩個(gè)連通區(qū)域，如圖4-6（b）所示，人臉與脖子之間分界明顯，而且能夠清晰的展現(xiàn)人臉五官在面部的

103、位置，效果理想；</p><p>　　根據(jù)人臉長(zhǎng)寬之比小于2的條件，在人臉與脖子的兩個(gè)連通區(qū)域提取出人臉區(qū)域，并用紅色矩形框進(jìn)行定位，如圖4-6（c）所示，效果較好。</p><p>　　最后對(duì)定位的矩形人臉區(qū)域采用分割原理進(jìn)行人臉的分割，效果如圖4-6（d）所示，準(zhǔn)確又完美的完成了人臉分割部分。</p><p>　　4.3 人臉表情圖像預(yù)處理</p>

104、<p>　　4.3.1 尺度歸一化</p><p>　　動(dòng)態(tài)視頻中人臉會(huì)有移動(dòng)，采集的人臉大小會(huì)存在差異，因此采用</p><p>　　了尺度歸一化的處理方法，將分割出來的人臉圖像尺寸大小統(tǒng)一設(shè)置成400*999，如圖4-7（b）所示，這樣就方便了后期的嘴部特征提取工作。</p><p>　　(a) (b)

105、 (c) (d)</p><p>　　圖4-6 人臉定位于人臉分割效果示意圖</p><p>　?。╝） (b)</p><p>　　圖4-7 人臉尺寸歸一化效果圖像</p><p>　　4.3.2 直方圖均衡化</p><p>　　檢測(cè)到的人臉圖像，

106、由于光照不均勻?qū)е氯四橆~頭與嘴凸出之處的像素值變化太大，所以選擇了直方圖均衡化預(yù)處理操作。如圖4-8所示。</p><p>　　直方圖均衡化，首先得將輸入圖像灰度化處理，并輸出灰度直方圖，如圖4-8（a）所示，可看出，確實(shí)存在較高的像素峰值；進(jìn)行均衡化處理后，結(jié)果如圖4-8（b）所示，從結(jié)果可以看出，圖像的對(duì)比度增強(qiáng)十分明顯，達(dá)到了很好的效果。</p><p>　?。╝）

107、 (b)</p><p>　　圖4-8 原始灰度圖像與均衡化圖像對(duì)比圖</p><p>　　4.4 微笑特征提取</p><p>　　本課題是基于嘴部特征提取，因此首先得對(duì)嘴部進(jìn)行檢測(cè)與定位，再在嘴部基礎(chǔ)上進(jìn)行微笑特征的提取。</p><p>　　4.4.1 嘴部檢測(cè)與定位</p>&l

108、t;p>　　在此過程中，運(yùn)用了兩種嘴部檢測(cè)方法：基于唇色的嘴部檢測(cè)和基于嘴在人臉面部的幾何分布的嘴部檢測(cè)。</p><p>　　a.基于唇色的嘴部檢測(cè)與定位</p><p>　　唇色在YCbCr顏色空間里的Cb、Cr分量的取值范圍分別是[30,137]和[40,170]，同時(shí)由于上嘴唇上半部分和下嘴唇上半部分受到了光照的影響，所以在此也考慮了Y的具體取值范圍[40,170]。選取嘴部

109、變化較小與變化較大的兩張圖像進(jìn)行對(duì)比，其檢測(cè)于定位結(jié)果分別如圖4-9（a）、（b）所示。</p><p>　　根據(jù)圖4-9所示，不同程度的嘴形變化圖像，檢測(cè)到的嘴部矩形區(qū)域大小是不一樣的。對(duì)于（a）圖，嘴形變化較小,矩形框剛好把嘴部區(qū)域選中；對(duì)于（b）,嘴形變化程度較大,加上下嘴唇的陰影影響，導(dǎo)致矩形框的高度比較大，且存在誤差，嘴部定位效果不是很理想，還需改進(jìn)。</p><p>　?。╝）

110、嘴形變化較小的嘴部定位圖像</p><p>　?。╞）嘴形變化較大的嘴部定位圖像</p><p>　　圖4-9 基于唇色的嘴部檢測(cè)與定位效果圖像</p><p>　　b.基于嘴部在人臉的幾何位置的嘴部檢測(cè)與定位</p><p>　　設(shè)人臉圖像的尺寸為H*W,確定嘴部矩形框的起始位置為：（(0.3*H)-35，(0.4*W)-128），嘴部定位

111、的矩形框大小為65*160。取兩種嘴部變化不同的情況，其效果圖如圖4-10所示。</p><p>　?。╝）嘴部變形較小的嘴部定位 (b)嘴部變形較大的嘴部定位</p><p>　　圖4-10 基于嘴在人臉的幾何位置的嘴部檢測(cè)與定位效果圖像</p><p>　　由圖4-10可知，最終檢測(cè)到的嘴部矩形區(qū)域大小一致，根據(jù)嘴角的上揚(yáng)程度可以體現(xiàn)出嘴

112、部的微小變化。</p><p><b>　　c.嘴部分割</b></p><p>　　對(duì)嘴部進(jìn)行定位以后，利用imcrop分割原理就可以將嘴部從人臉圖像中分割出來，效果如圖4-11所示。其中(a)與（b）的分割效果分別是基于唇色的嘴部分割和基于嘴在臉部幾何位置關(guān)系的嘴部分割，且再分別取自對(duì)應(yīng)兩種嘴部變化差異比較大的人臉圖像。（a）組隨著嘴部幅度變化而產(chǎn)生大小不一樣的嘴