動(dòng)態(tài)手勢(shì)識(shí)別及應(yīng)用研究.pdf

1、近些年來，隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，人機(jī)交互技術(shù)也在日常生活中發(fā)揮著越來越重要的作用。由于傳統(tǒng)的基于鼠標(biāo)和鍵盤的人機(jī)交互技術(shù)在使用上的局限性，更加生動(dòng)自然的基于計(jì)算機(jī)視覺的人機(jī)交互受到了很大程度的關(guān)注。其中，由于手勢(shì)本身的靈活性和多樣性，使其可以包含非常豐富的信息，而且使用手勢(shì)的交互更加符合人們的交流習(xí)慣，故其在增強(qiáng)現(xiàn)實(shí)、手語識(shí)別等中都有廣泛的運(yùn)用，所以基于計(jì)算機(jī)視覺的手勢(shì)識(shí)別是一個(gè)很富有挑戰(zhàn)性的課題。
　　傳統(tǒng)的手勢(shì)識(shí)別技術(shù)一般

2、都是基于彩色圖像和灰度圖像信息，本文設(shè)計(jì)的手勢(shì)識(shí)別平臺(tái)利用的是由深度攝像頭得到的深度圖結(jié)合彩色攝像頭得到的彩色圖來進(jìn)行手勢(shì)識(shí)別，并且將手勢(shì)識(shí)別平臺(tái)與虛擬現(xiàn)實(shí)平臺(tái)進(jìn)行了融合，實(shí)現(xiàn)了通過手勢(shì)命令控制虛擬現(xiàn)實(shí)場(chǎng)景。本文主要分為了五個(gè)部分：
　　1.手勢(shì)的分割和跟蹤部分，介紹了由Kinect深度攝像頭得到深度圖的原理，并且借助于OpenNI實(shí)現(xiàn)了手勢(shì)的檢測(cè)，利用深度圖像深度特征，排除了背景信息的干擾，實(shí)現(xiàn)了手勢(shì)的分割。對(duì)于手勢(shì)的跟蹤，則是

3、通過粒子濾波算法實(shí)現(xiàn)。
　　2.靜態(tài)手勢(shì)的識(shí)別部分，在特征提取階段，選取了傅立葉特征描述子作為靜態(tài)手勢(shì)的全局特征描述子和BOF_SURF特征描述子作為靜態(tài)手勢(shì)的局部特征描述子，并將它們的融合特征作為手勢(shì)的特征，其兼?zhèn)淞藘煞N特征的優(yōu)點(diǎn)，具有了一定的旋轉(zhuǎn)不變性、平移不變性。在識(shí)別階段，通過比較支持向量機(jī)和神經(jīng)網(wǎng)絡(luò)分類器的優(yōu)劣，最終選取了支持向量機(jī)作為靜態(tài)手勢(shì)識(shí)別的分類器，實(shí)現(xiàn)了對(duì)于8種普通手型的識(shí)別，并且對(duì)于手勢(shì)的旋轉(zhuǎn)，平移等有一定的

4、魯棒性。
　　3.指尖檢測(cè)的部分，選取了基于凸包的指尖檢測(cè)的方法。在由分割出的手勢(shì)提取其輪廓后，利用道格拉斯-普克算法進(jìn)行輪廓的近似，在通過近似輪廓的凸包特征實(shí)現(xiàn)了指尖的檢測(cè)。
　　4.動(dòng)態(tài)手勢(shì)的識(shí)別部分，在特征提取階段，將手心坐標(biāo)作為手勢(shì)的位置，并將手心在空間中運(yùn)動(dòng)形成的一系列二維坐標(biāo)點(diǎn)作為手勢(shì)的軌跡，再把相鄰的坐標(biāo)點(diǎn)間的方向角量化后得到的方向向量作為動(dòng)態(tài)手勢(shì)的特征向量。其中，對(duì)于軌跡開始和結(jié)束的判斷，則是使用了指尖的個(gè)數(shù)

5、作為依據(jù)：當(dāng)指尖個(gè)數(shù)為5時(shí)，軌跡開始；當(dāng)指尖個(gè)數(shù)為0時(shí)，軌跡結(jié)束。在識(shí)別階段，則是利用了隱馬爾科夫模型作為分類器，實(shí)現(xiàn)了對(duì)于10種自定義的動(dòng)態(tài)軌跡的訓(xùn)練和識(shí)別。
　　5.手勢(shì)識(shí)別的應(yīng)用部分，通過手勢(shì)識(shí)別平臺(tái)和虛擬現(xiàn)實(shí)平臺(tái)的融合，實(shí)現(xiàn)了通過手勢(shì)命令實(shí)現(xiàn)虛擬現(xiàn)實(shí)中小島地形的瀏覽和艦艇的航行控制。
　　最后，根據(jù)本文提取的相關(guān)算法編寫了相關(guān)的手勢(shì)識(shí)別的軟件，該軟件是基于MFC對(duì)話框開發(fā)的，可以實(shí)現(xiàn)對(duì)于靜態(tài)手勢(shì)的識(shí)別、指尖的檢測(cè)、動(dòng)