基于多傳感器信息檢測和融合的手語手勢識別研究.pdf

1、手語是聾啞人之間進(jìn)行日常交流的主要方式之一。手語識別研究能夠使聾啞人與外界交流更為便捷。隨著計(jì)算機(jī)性能的逐步提高，近年來自然的人機(jī)交互逐漸成為一個(gè)研究熱點(diǎn)。通過自然的人機(jī)交互系統(tǒng)，人們可以利用聲音、表情、手勢等人類自然語言與計(jì)算機(jī)進(jìn)行交互，實(shí)現(xiàn)類似于人類之間的自然交互方式。手語手勢識別研究對提高計(jì)算機(jī)的人類語言理解水平和發(fā)展多模式人機(jī)接口技術(shù)具有重要意義。
　　 手語通過手的形狀、位置、運(yùn)動、朝向利面部表情等通道表達(dá)特定的信息。

2、表面肌電(surface electromyography，SEMG)電極、加速計(jì)(accelerometer，ACC)和攝像頭能夠從不同角度捕獲這些信息。比如視覺和ACC信號可以從不同側(cè)面刻畫手勢的空問運(yùn)動軌跡，SEMG可以通過檢測肌肉收縮獲得精細(xì)手指運(yùn)動信息。因此，我們相信多傳感器信息檢測和融合技術(shù)能夠提高識別精度和可識別手勢動作種類。
　　 為了檢測手語中包含的豐富信息，本文提出了一種基于多傳感器信息檢測和融合的手語手勢

3、識別方法，以提高多類手語手勢動作的識別率和擴(kuò)展可識別詞匯量。
　　 本文主要的研究內(nèi)容和研究成果有：
　　 (1)多傳感器信號的活動段分割。提出了基于64點(diǎn)移動平均窗的包括SEMG、ACC和視覺二種傳感器信號的同步活動段檢測方法。僅利用SEMG信號的幅值變化信息就能同步提取出二種信號的活動段，減少了檢測的工作量。
　　 (2)基于動靜態(tài)要素的動態(tài)手勢識別研究。從手勢的空間形態(tài)上對手勢進(jìn)行了分析研究。將動態(tài)手勢拆分

4、為動態(tài)要素和靜態(tài)要素識別單元，分別利用ACC與視覺軌跡信號和SEMG信號進(jìn)行描述，采用多流隱馬爾可夫(Hidden MarkovModels，HMM)建模識別并進(jìn)行整合。實(shí)驗(yàn)結(jié)果表明所提方法縮短了訓(xùn)練和識別時(shí)間，提高了識別率。
　　 (3)提出了一種基于多級分類融合策略的中國手語識別方法。首先利用SEMG信號的幅值信息實(shí)現(xiàn)單雙手詞的劃分，然后借助視覺信號實(shí)現(xiàn)雙手詞中有遮擋和無遮擋的劃分，最后利用Sugeno模糊積分對SEMG、

5、ACC利視覺二種信號提供的局部決策進(jìn)行融合，得到識別結(jié)果。該方法充分利用不同類型傳感器在手語信息檢測方面的優(yōu)勢，從而提高手語的識別率，增加識別種類。針對201個(gè)高頻手語詞，三個(gè)受試者的識別率均在99％以上。
　　 (4)基于Visual C++和OpenCV技術(shù)，構(gòu)建了一個(gè)能夠同步獲取SEMG、ACC和視覺二種信號的數(shù)據(jù)采集跟蹤系統(tǒng)。采用多線程技術(shù)，實(shí)現(xiàn)采集、顯示和保存的同步進(jìn)行；利用系統(tǒng)內(nèi)部嵌入的Camshift運(yùn)動跟蹤算法模