基于Kinect傳感器的動態(tài)手勢識別.pdf

1、隨著計(jì)算機(jī)領(lǐng)域技術(shù)的不斷發(fā)展，尤其是人機(jī)交互領(lǐng)域日新月異的飛速進(jìn)步，往日出現(xiàn)在各類科幻大片中的新穎的人機(jī)交互形式已經(jīng)逐步地出現(xiàn)在人們的日常生活中來。其中對于手勢識別技術(shù)的相關(guān)研究變得十分活躍。人們在日常的生活交際中常常用到各種手勢，與聽力障礙人士交流或者其他的安靜場合時也都會用到手勢語言，手勢識別的研究具有十分重要的實(shí)際的應(yīng)用意義。手勢識別的研究就是要讓計(jì)算機(jī)設(shè)備能夠“看懂”用戶的手勢肢體語言，將其轉(zhuǎn)換為相應(yīng)的文本信息或者相應(yīng)的語義指令

2、，從而進(jìn)一步達(dá)到各種控制的目的。該研究領(lǐng)域涵蓋模式識別、計(jì)算機(jī)視覺和圖形圖像等多方面，這也使得該領(lǐng)域的研究富有挑戰(zhàn)性。
　　本文的研究對象為人體的動態(tài)手勢，研究目標(biāo)是提出一種基于微軟的深度攝像設(shè)備Kinect傳感器且能實(shí)時的識別人體動態(tài)手勢的系統(tǒng)框架。本文將運(yùn)動的手勢分解為兩大組成部分，分別為手的運(yùn)動軌跡和手勢中關(guān)鍵的手部形態(tài)。文中針對這兩大部分，詳細(xì)的給出了從Kinect傳感器捕獲兩種數(shù)據(jù)的解決方案:1.利用重要的關(guān)鍵人體關(guān)節(jié)點(diǎn)

3、的球形坐標(biāo)數(shù)據(jù)代表手勢軌跡信息;2.利用基于膚色掩膜和深度掩膜結(jié)合的方法分割手部區(qū)域得到手部區(qū)域數(shù)據(jù)。與此同時提出對捕獲到的軌跡數(shù)據(jù)進(jìn)行正規(guī)化處理方法，具體包含有對用戶的遠(yuǎn)近距離和用戶間個體大小差異的正規(guī)化;同時還給出了利用運(yùn)動能量函數(shù)進(jìn)行手部數(shù)據(jù)關(guān)鍵幀提取方案。
　　文中針對軌跡和關(guān)鍵幀手部數(shù)據(jù)分別構(gòu)建其特征描述子:多維數(shù)據(jù)的幀軌跡特征描述子和Hu矩特征描述子。同時針對多維數(shù)據(jù)的幀軌跡序列的匹配問題，提出了一種在全局約束條件下的

4、權(quán)重化多維數(shù)據(jù)的動態(tài)時間扭曲算法(WM-DTW)，利用該算法可以高效處理不同權(quán)重下多維數(shù)據(jù)序列間匹配問題。最終的識別結(jié)果由軌跡和關(guān)鍵幀匹配結(jié)果綜合得出，其中軌跡的匹配結(jié)果占主導(dǎo)，關(guān)鍵幀手形數(shù)據(jù)的識別結(jié)果作為輔助信息占少量權(quán)重。最后，文中給出了平臺模塊設(shè)計(jì)方案和整個系統(tǒng)的流程，并針對具體的界面設(shè)計(jì)實(shí)現(xiàn)了系統(tǒng)。并根據(jù)三個不同手勢模板庫建立測試數(shù)據(jù)集進(jìn)行驗(yàn)證實(shí)驗(yàn)，通過詳細(xì)的實(shí)驗(yàn)對比和結(jié)果分析表明，該框架能在消耗較小時間成本的情況下達(dá)到高識別率