動(dòng)態(tài)手勢(shì)識(shí)別中的時(shí)空特征表示和字典優(yōu)化研究.pdf

1、手勢(shì)識(shí)別是人機(jī)交互的重要組成部分。特別是近年來(lái)隨著RGB-D相機(jī)(如Kinect)的發(fā)展，基于RGB-D數(shù)據(jù)的手勢(shì)識(shí)別研究是當(dāng)前手勢(shì)識(shí)別中的一個(gè)研究熱點(diǎn)。本文研究的重點(diǎn)是如何從RGB-D數(shù)據(jù)中有效地提取時(shí)空特征，以及如何對(duì)提取的特征進(jìn)行字典學(xué)習(xí)和優(yōu)化。論文的主要工作和貢獻(xiàn)如下:
　　1.提出了基于RGB-D的一次學(xué)習(xí)手勢(shì)識(shí)別方法。由于一次學(xué)習(xí)是指每類只有一個(gè)訓(xùn)練樣本，因此基于RGB-D的一次學(xué)習(xí)識(shí)別研究有兩個(gè)重要的挑戰(zhàn)性問(wèn)題，即在

2、每類只有一個(gè)訓(xùn)練樣本的前提下如何提取豐富的、具有分辨性特征以及如何學(xué)習(xí)一個(gè)有效的識(shí)別模型。(1)對(duì)于特征提取，提出了一種新的從RGB-D數(shù)據(jù)中提取時(shí)空特征方法:三維增強(qiáng)運(yùn)動(dòng)尺度不變特征轉(zhuǎn)換(3D EMoSIFT)。3D EMoSIFT具有旋轉(zhuǎn)和尺度不變性，可以獲取更緊湊、更豐富的特征信息;(2)為了獲取一個(gè)穩(wěn)定性高、識(shí)別效果好的模型，首先對(duì)所有訓(xùn)練樣本的特征進(jìn)行Kmeans聚類以獲取視覺(jué)字典（即聚類中心）;然后，采用同步正交匹配追蹤(S

3、OMP)算法進(jìn)行特征編碼，使每個(gè)特征能夠由字典中的多個(gè)詞通過(guò)線性組合來(lái)表示。與矢量量化相比，SOMP算法具有更小的重構(gòu)誤差以及更好的識(shí)別效果。
　　2.提出了一種從RGB-D數(shù)據(jù)中快速提取時(shí)空特征的方法:三維稀疏運(yùn)動(dòng)尺度不變特征轉(zhuǎn)換(3D SMoSIFT)算法。首先，分別對(duì)每幀RGB圖像和深度圖像構(gòu)建金字塔;其次在RGB或者深度圖像金字塔中利用角點(diǎn)檢測(cè)和稀疏光流算法檢測(cè)和跟蹤穩(wěn)定的關(guān)鍵點(diǎn);然后提取關(guān)鍵點(diǎn)附近的局部區(qū)域（包含RGB-

4、D數(shù)據(jù)），并在局部區(qū)域構(gòu)建三維梯度空間和三維運(yùn)動(dòng)空間;最后分別在三維梯度空間和三維運(yùn)動(dòng)空間中計(jì)算尺度不變特征轉(zhuǎn)換(SIFT)特征。3D SMoSIFT不僅具有旋轉(zhuǎn)和尺度不變特性而且對(duì)部分遮擋具有較強(qiáng)的魯棒性。此外，還分析了3D EMoSIFT和3D SMoSIFT的時(shí)間復(fù)雜度。從實(shí)驗(yàn)結(jié)果看，3D SMoSIFT比以往的時(shí)空特征算法(Harrid3d，MoSIFT,3D MoSIFT等)和3D EMoSIFT識(shí)別效果都好，并且3D SMo

5、SIFT處理速度達(dá)到實(shí)時(shí)。
　　3.提出了一種類字典優(yōu)化算法:特定類互信息最大化(CSMMI)。CSMMI的目標(biāo)是每類學(xué)習(xí)一個(gè)緊湊的、具有分辨性的字典。與基于視覺(jué)詞袋模型中所有類學(xué)習(xí)一個(gè)共享字典不同，CSMMI提出了一個(gè)互信息最大化目標(biāo)函數(shù)來(lái)優(yōu)化特定類字典，該目標(biāo)函數(shù)融合了類內(nèi)和類間互信息。CSMMI的目標(biāo)函數(shù)有兩個(gè)優(yōu)點(diǎn):(1)保留類內(nèi)的固有結(jié)構(gòu)信息:對(duì)特定類的字典，已經(jīng)選擇的詞與該字典中未選擇的詞之間具有互信息最大;(2)減少類