基于表面肌電信號的人體動作識別與交互.pdf

1、隨著計算設備融入人類生活環(huán)境的方方面面，真實世界、數字世界和作為主體的人成為一個有機整體。人與環(huán)境的無縫溝通和自由互動的需求促使了人體動作識別成為未來多通道多模態(tài)人機交互研究中的熱點。人體動作識別是指計算機自動檢測、分析和理解人體各類運動和行為，如手指、手腕、手臂、頭、面部或身體等姿態(tài)或運動模式，以判斷人的意圖并提供相應服務的過程。
　　 人體的任何一個動作都是由多組肌群在神經系統(tǒng)的支配下相互協(xié)調、共同完成的。肌電信號(EMG)

2、是伴隨肌肉活動產生的一種重要的生物電信號。由表面肌電(SEMG)傳感器在相應肌群皮膚表面捕獲的肌肉活動信息不但能反映關節(jié)的伸屈狀態(tài)和伸屈強度，還能反映動作完成過程中肢體的形狀和位置等信息，是感知人體動作的重要方式。
　　 本文以手勢動作、肩頸部動作和腿部運動為研究對象，對基于SEMG的多種類人體動作的檢測與識別技術進行了深入探索，設計并實現了基于人體動作的實時交互系統(tǒng)，開展了一定規(guī)模的用戶測試實驗，為實現自然和諧的人機交互提供了

3、幾種具體有效的解決方案。研究成果將促進多模態(tài)智能人機接口技術的進一步發(fā)展與推廣應用，同時在人類行為理解、康復醫(yī)學、情境感知、普適計算和導航定位等應用研究中也具有重要價值。本文具體的研究工作和創(chuàng)新點包括：
　　 1.基于多通道SEMG的手勢動作識別研究。此研究的目標是為基于手勢的人機交互系統(tǒng)提供有效的識別算法，并為手勢命令集的選擇和SEMG傳感器的安置提供理論依據。一方面，以8類常用手勢動作為研究對象，對包含信號采集、活動段檢測、

4、特征提取以及分類識別在內的多種動作SEMG識別方法進行了研究，提出了一種適用于實時交互的優(yōu)化算法，并在此基礎上，構建了基于SEMG的實時手勢識別系統(tǒng)。另一方面，結合解剖學知識，對涉及多種精細手勢動作在內的20種手勢開展了手勢命令集及SEMG傳感器安放位置的優(yōu)化研究，并在此基礎上提出了一種實用的交互控制應用方案。在實時系統(tǒng)上進行的特定用戶、多用戶以及與用戶無關的實驗結果表明，該交互方案具有很好的魯棒性，此研究成果可為交互應用中手勢集的選取

5、及傳感器的安置提供參考依據。
　　 2.基于加速度與SEMG信息融合的手語手勢識別研究。此研究是對基于多傳感器信息檢測和融合的手勢識別技術的初步探索。放置在手前臂的加速計適合區(qū)分具有不同運動軌跡的手臂揮劃，而SEMG信息更適于表達手指手腕等精細動作引起的具有不同模式的肌肉活動。針對這兩種傳感器捕獲手語手勢信息的互補性，本文提出了一種有效融合加速度和SEMG信息的手語手勢動作識別方法框架，利用多流HMM和決策樹融合兩種異質傳感器信

6、息，對30種中國手語單手詞和16種情景對話例句展開了分類識別研究，并實現了采用18類手勢動作對虛擬魔方進行控制的實時手勢交互系統(tǒng)。
　　 3.基于SEMG的肩頸部動作識別研究。頭肩頸部動作在自然和諧的人機交互中可作為輔助的交互手段。利用從背部、肩部和頸部等相關肌群檢測到的多通道SEMG，對7類肩頸部動作進行了分類識別研究，探索其用于交互的可行性與有效性。同時，在手勢實時識別與交互系統(tǒng)基礎上進行了相應改進，實現了基于SEMG的肩頸

7、部動作實時識別系統(tǒng)。
　　 4.融入肌電信息的個人導航研究。步行者正常行走時，左右兩腿交替邁步，相應腓腸肌輪流收縮施力完成身體前向運動。從腓腸肌表面采集的SEMG信號強度隨步行時腿部用力大小表現出顯著的節(jié)律性。針對這一運動生理學特點，本文提出了一種基于SEMG的步行者運動分析技術，并與數字羅盤相結合，實現了一種新型的步行者航位推算(PDR)方法。該方法采用疊加窗分幀技術、樣本熵特征提取對雙腿腓腸肌SEMG信號進行處理，用HMM分