基于MLBP-TOP與光流多特征的人臉表情融合識別研究.pdf

1、近年來，隨著人們對人機(jī)交互興趣的增加，表情識別逐漸成為一個(gè)研究熱點(diǎn)。人臉表情識別是指利用計(jì)算機(jī)分析特定人的臉部表情及變化，進(jìn)而確定其內(nèi)心情緒或思想活動(dòng)，實(shí)現(xiàn)人機(jī)之間更自然更智能化的交互。人臉表情識別的研究對于增強(qiáng)計(jì)算機(jī)的智能化和人性化，開發(fā)新型人機(jī)環(huán)境，以及推動(dòng)心理學(xué)等學(xué)科的發(fā)展，有著重要的現(xiàn)實(shí)意義，并最終產(chǎn)生很大的經(jīng)濟(jì)效益和社會效益。
　　 本文首先綜述課題的研究背景，并分析目前國內(nèi)外已提出的主流人臉表情識別方法。在綜合分析了

2、以往的表情識別方法的基礎(chǔ)上，本文主要研究了人臉表情特征提取、融合特征識別過程中的一些關(guān)鍵問題，提出了一些改進(jìn)方法，并通過實(shí)驗(yàn)進(jìn)行了有效性驗(yàn)證。本文的主要工作如下：
　　 (1)提出了基于MLBP-TOP的表情特征提取方法。該方法對基本LBP-TOP特征算子進(jìn)行改進(jìn)，根據(jù)LBP-TOP中不同平面表情信息的差異性，三個(gè)交面的特征被劃為兩類，分別采用差分二元局部模式和中心化二元模式，以提取表情的時(shí)域信息和梯度信息，作為混合二元局部模式

3、MLBP-TOP(Mixed Local BinaryPatterns From Three Orthogonal Panels)特征。
　　 (2)提出了基于自動(dòng)標(biāo)注特征點(diǎn)的光流特征提取方法。該方法通過Harris角點(diǎn)檢測方法檢測人臉圖像的左右嘴角點(diǎn)，Robert算子和水平投影法檢測上下唇角點(diǎn)，通過曲線擬合方法擬合出四個(gè)新的角點(diǎn)，以這些點(diǎn)作為Lucas-Kanade光流法跟蹤的源點(diǎn)，計(jì)算嘴巴子區(qū)域的光流場，并對所有特征點(diǎn)進(jìn)行跟

4、蹤，將所有點(diǎn)的水平和垂直位移大小作為特征向量。
　　 (3)提出了基于多特征與多離散HMMs的人臉表情融合識別方法。由于表情圖像中各個(gè)表情區(qū)域?qū)ψR別每類表情的貢獻(xiàn)不同，該方法對于眼睛眉毛區(qū)域采用MLBP-TOP提取紋理特征，對于嘴巴區(qū)域采用自動(dòng)標(biāo)注特征點(diǎn)的光流法提取形狀變化特征，同時(shí)在表情樣本訓(xùn)練時(shí)采用貢獻(xiàn)分析法分析確定不同表情區(qū)域特征對六種表情各自的貢獻(xiàn)權(quán)值；在分類識別階段，首先分別采用離散HMMs對每個(gè)區(qū)域計(jì)算表情概率，最后