基于運(yùn)動(dòng)軌跡和手型特征的手語識(shí)別研究.pdf

1、手語是聾啞人日常生活的主要語言，同時(shí)也是他們和正常人交流的主要方式之一。而大多數(shù)正常人并未經(jīng)過專業(yè)的手語培訓(xùn)，使得聾啞人無法同其進(jìn)行無障礙地交流。為了解決這個(gè)問題，從上世紀(jì)90年代開始便有許多學(xué)者開始從事手語識(shí)別的研究，旨在將手語動(dòng)作通過計(jì)算機(jī)編程實(shí)現(xiàn)將其轉(zhuǎn)換為便于正常人理解的文本或者語音信息。因此手語識(shí)別具有極大的社會(huì)意義。
　　在手語識(shí)別領(lǐng)域，有兩個(gè)至關(guān)重要的問題。一是如何獲取并設(shè)計(jì)魯棒高效的手語動(dòng)作特征，二是如何對(duì)手語動(dòng)作特

2、征建立魯棒的識(shí)別模型。對(duì)于第一個(gè)問題，從昂貴復(fù)雜的數(shù)據(jù)手套到顏色手套再到體感設(shè)備，數(shù)據(jù)獲取越來越方便可行，特征設(shè)計(jì)主要從運(yùn)動(dòng)軌跡和手型變化上進(jìn)行描述。對(duì)于第二個(gè)問題，對(duì)手語動(dòng)作進(jìn)行建模識(shí)別主要是借鑒于語音識(shí)別，利用機(jī)器學(xué)習(xí)理論中的一些模型。例如利用可以計(jì)算不等長(zhǎng)序列相關(guān)性的動(dòng)態(tài)時(shí)間規(guī)整算法以及機(jī)器學(xué)習(xí)模型支持向量機(jī)、高斯混合模型、隱馬爾科夫模型、條件隨機(jī)場(chǎng)、人工神經(jīng)網(wǎng)絡(luò)等等?；诖藘蓚€(gè)出發(fā)點(diǎn)本文的主要工作可歸納如下:
　　首先，手

3、語動(dòng)作特征包括手語動(dòng)作的軌跡特征和手型特征。軌跡特征包括運(yùn)動(dòng)的方向，運(yùn)動(dòng)軌跡的形狀，以及運(yùn)動(dòng)軌跡的位置。手語動(dòng)作的運(yùn)動(dòng)方向利用方向位移直方圖刻畫，將空間分成多個(gè)二維平面考慮手部在平面中各個(gè)方向的位移量，組合所有方向的直方圖最終對(duì)方向信息進(jìn)行表達(dá)。運(yùn)動(dòng)軌跡的形狀本文提出采樣形狀上下文描述子進(jìn)行刻畫，在提取軌跡特征的形狀上下文信息時(shí)需要對(duì)軌跡進(jìn)行預(yù)處理，即基于密度的上采樣處理，使得軌跡形狀看起來更加的均勻平滑，最后再對(duì)每一個(gè)采樣點(diǎn)進(jìn)行形狀上

4、下文描述子的提取。對(duì)于軌跡的位置信息，本文采用非手骨骼點(diǎn)相對(duì)于手部骨骼點(diǎn)的位置進(jìn)行刻畫。在手型描述中，經(jīng)過對(duì)視頻信息的預(yù)處理，獲取以手部骨骼點(diǎn)為中心的局部區(qū)域，區(qū)域中包含了手型，再對(duì)其提取HOG特征，最終將手語序列的手型特征利用HOG特征序列描述。
　　其次，我們提出的自動(dòng)確定隱狀態(tài)數(shù)目的FHMM模型可以根據(jù)手語動(dòng)作本身特性自動(dòng)確定建模所需參數(shù)。我們利用手型之間的特征差異將視頻中的手分成若干段，其中相似的手型歸為同一段。由于在特征