肌電信號(hào)交互

1、基于表面肌電信號(hào)動(dòng)作識(shí)別與交互,,,基于表面肌電信號(hào)的人體動(dòng)作識(shí)別,基于SEMG的手勢(shì)動(dòng)作識(shí)別技術(shù),手勢(shì)識(shí)別與交互系統(tǒng),人機(jī)交互及人體動(dòng)作識(shí)別,,人機(jī)交互及人體動(dòng)作識(shí)別,智能人機(jī)界面：計(jì)算機(jī)應(yīng)當(dāng)對(duì)人類(lèi)的自然能力(包括觸覺(jué)、語(yǔ)言、筆形、姿勢(shì)和情感等)進(jìn)行感知。,人與計(jì)算機(jī)交互(Human-Computer Interaction,HCI),人機(jī)交互,,人機(jī)交互及人體動(dòng)作識(shí)別,,指計(jì)算機(jī)自動(dòng)檢測(cè)、分析和理解人體各類(lèi)運(yùn)動(dòng)和行為，判斷人的意圖

2、并提供相應(yīng)服務(wù)的過(guò)程.,應(yīng)用：,人體動(dòng)作識(shí)別,人機(jī)交互及人體動(dòng)作識(shí)別,,感知人體動(dòng)作的兩種主流方式：,1、計(jì)算機(jī)視覺(jué)：采用視覺(jué)設(shè)備和圖像處理技術(shù)持續(xù)捕獲人體動(dòng)作，具有跟蹤全身或局部肢體運(yùn)動(dòng)，并獲取表情或手勢(shì)等動(dòng)作在攝像機(jī)視圖二維平面投影的形狀信息的功能。缺點(diǎn)：(1)環(huán)境影響;(2)難察覺(jué)精細(xì)的人體動(dòng)作;(3)動(dòng)作分割難。,2、運(yùn)動(dòng)測(cè)量：用戶(hù)身體上安放各類(lèi)傳感器設(shè)備測(cè)量用戶(hù)執(zhí)行動(dòng)作時(shí)產(chǎn)生的物理量。缺點(diǎn)：傳感器單一，獲取的信息有

3、限，可識(shí)別的人體動(dòng)作種類(lèi)不多。,基于表面肌電信號(hào)的人體動(dòng)作識(shí)別,,,基于表面肌電信號(hào)的人體動(dòng)作識(shí)別,,肌電信號(hào)(Eleotromyography,EMG）伴隨肌肉活動(dòng)產(chǎn)生的一種重要的生物電信號(hào)。生理學(xué)依據(jù)：肢體的特定關(guān)節(jié)運(yùn)動(dòng)由對(duì)應(yīng)的肌肉群控制。肌電控制系統(tǒng)：通過(guò)對(duì)在相應(yīng)肌群上采集到的EMG信號(hào)對(duì)不同人體動(dòng)作進(jìn)行識(shí)別，用識(shí)別結(jié)果控制外圍設(shè)備。,概念,基于表面肌電信號(hào)的人體動(dòng)作識(shí)別,,表面肌電信號(hào)產(chǎn)生原理,MUAPT,表面

4、肌電信號(hào)：幅度范圍為0-1.5mA，帶寬為0.5-2000Hz，是許多運(yùn)動(dòng)單位(Motor Unit,MU)的電發(fā)放的總和，波形呈干擾形，很難從中分辨單一單位動(dòng)作的波形。,表面肌電信號(hào)（Surface EMG,SEMG）運(yùn)動(dòng)單位動(dòng)作電位(Motor Unit Action Potential，MUAP)運(yùn)動(dòng)單位的動(dòng)作電位序列(Motor Unit Action Potential Train，MUAPT),基于表面肌電信號(hào)的人

5、體動(dòng)作識(shí)別,,針電極肌電信號(hào)(Needle EMG；NEMG)以針形電極為引導(dǎo)電極，將其插入到肌肉內(nèi)部，直接在活動(dòng)肌纖維附近檢測(cè)電位信息。特點(diǎn)：干擾小，定位性好，易識(shí)別；具有良好的空間分辨率和較高的信噪比；但是一種有創(chuàng)傷的檢測(cè)方法；不宜同時(shí)測(cè)量多路信。,表面電極肌電信號(hào)（Surface EMG,SEMG）從人體皮膚表面通過(guò)電極記錄下來(lái)的神經(jīng)肌肉活動(dòng)時(shí)發(fā)放的生物電信號(hào)。特點(diǎn)：較大的檢測(cè)表面和較低的空間分辨率；記錄的信號(hào)

6、為一定范圍內(nèi)肌纖維電活動(dòng)的總和；測(cè)量的無(wú)損傷性；干擾大。,肌電信息采集方式分兩種：,,測(cè)量?jī)?yōu)勢(shì)：1．感知?jiǎng)幼鞯闹苯有?．檢測(cè)動(dòng)作的敏感性3．傳感器低成本高便攜性,主要問(wèn)題：1．可識(shí)別的手勢(shì)動(dòng)作的種類(lèi)較少2．缺乏結(jié)合生理學(xué)知識(shí)的系統(tǒng)研究3．可重復(fù)性和通用性,基于表面肌電信號(hào)的人體動(dòng)作識(shí)別,,信號(hào)采集：SEMG信號(hào)的采集手段已經(jīng)從模擬測(cè)量方式轉(zhuǎn)為數(shù)字記錄。預(yù)處理：測(cè)量電極多采用空間電極配置方式；通過(guò)多個(gè)電極適當(dāng)形

7、式的互相組合采集SEMG信號(hào)，以改善檢測(cè)SEMG的信噪比。目前應(yīng)用較多的空間電極配置方式為雙極性(Bipolar)和拉普拉斯(Laplaoe)電極。,基于表面肌電信號(hào)的人體動(dòng)作識(shí)別,表面肌電信號(hào)的采集與預(yù)處理,,肌肉興奮產(chǎn)生神經(jīng)脈沖，電極處產(chǎn)生連續(xù)發(fā)放形成的MUAPT,采用表面電極肌電信號(hào)采集方法,基于SEMG的手勢(shì)動(dòng)作識(shí)別技術(shù),信號(hào)預(yù)處理,整流，平滑，濾波，振幅標(biāo)準(zhǔn)化,基于表面肌電信號(hào)的人體動(dòng)作識(shí)別,信號(hào)采集,信號(hào)產(chǎn)生,信號(hào)識(shí)別,

8、基于SEMG的手勢(shì)動(dòng)作識(shí)別技術(shù),,多通道表面肌電信號(hào)手勢(shì)動(dòng)作識(shí)別及交互控制示意圖：,由放置在人手臂皮膚表面預(yù)定位置上的SEMG傳感器同步獲取多通道SEMG信號(hào)數(shù)據(jù)，經(jīng)由活動(dòng)段檢測(cè)方法標(biāo)定每一個(gè)動(dòng)作執(zhí)行時(shí)對(duì)應(yīng)信號(hào)流的起止點(diǎn)，再通過(guò)特征提取后進(jìn)行分類(lèi)識(shí)別，動(dòng)作的識(shí)別結(jié)果可以轉(zhuǎn)化為控制指令，作為人機(jī)交互的輸入。手勢(shì)動(dòng)作SEMG模式識(shí)別算法由活動(dòng)段檢測(cè)、特征提取和分類(lèi)識(shí)別三個(gè)主要環(huán)節(jié)組成。,基于SEMG的手勢(shì)動(dòng)作識(shí)別技術(shù),,活動(dòng)段檢測(cè),連續(xù)

9、采集的多通道肌電信號(hào)數(shù)據(jù)流中提取出對(duì)應(yīng)于動(dòng)作執(zhí)行時(shí)的信號(hào),稱(chēng)為活動(dòng)段(Active Segments)?；顒?dòng)段檢測(cè)的任務(wù)：確定手勢(shì)動(dòng)作SEMG信號(hào)的起點(diǎn)和終點(diǎn)位置，檢測(cè)前提條件：對(duì)手勢(shì)動(dòng)作SEMG信號(hào)活動(dòng)段檢測(cè)的準(zhǔn)確判別。已有的SEMG活動(dòng)段提取算法有短時(shí)傅立葉方法、自組織人工神經(jīng)網(wǎng)絡(luò)方法、移動(dòng)平均方法等。確定每一個(gè)手勢(shì)動(dòng)作樣本所對(duì)應(yīng)的多通道SEMG信號(hào)活動(dòng)段,用于以下環(huán)節(jié)的特征提取和模式分類(lèi)。,基于SEMG的手勢(shì)動(dòng)作識(shí)別技

10、術(shù),,特征提取,特征提取環(huán)節(jié)的主要目標(biāo)：將動(dòng)作SEMG信號(hào)用一組能表征其類(lèi)型固有特性的數(shù)據(jù)來(lái)描述，作為該類(lèi)別的特征，并盡可能做到不同手勢(shì)動(dòng)作類(lèi)別提取得到的特征差異明顯,便于分類(lèi)。,,基于SEMG的手勢(shì)動(dòng)作識(shí)別技術(shù),,分類(lèi)器設(shè)計(jì),分類(lèi)器設(shè)計(jì)是模式識(shí)別任務(wù)實(shí)現(xiàn)的核心環(huán)節(jié)，目的：建立用于識(shí)別信號(hào)模式的分類(lèi)模型，以準(zhǔn)確判定待識(shí)別的樣本特征所歸屬的類(lèi)別。,在SEMG模式識(shí)別研究中常用的分類(lèi)器：,手勢(shì)識(shí)別與交互系統(tǒng),,實(shí)時(shí)手勢(shì)交互系統(tǒng)組成,系統(tǒng)

11、組成：信號(hào)檢測(cè)模塊和算法處理模塊。,,實(shí)現(xiàn)模擬-數(shù)字轉(zhuǎn)換功能,,,獲取信號(hào),,信號(hào)處理：放大、濾波等,,包括信號(hào)預(yù)處理、活動(dòng)段檢測(cè)、特征提取和分類(lèi)識(shí)別4個(gè)主要步驟,手勢(shì)識(shí)別與交互系統(tǒng),,各階段的作用,信號(hào)預(yù)處理：通過(guò)數(shù)字濾波去除信號(hào)基線漂移等方法以增加后級(jí)活動(dòng)段檢測(cè)的準(zhǔn)確性?；顒?dòng)段檢測(cè)：從多通道SEMG連續(xù)數(shù)據(jù)流中確定手語(yǔ)動(dòng)作執(zhí)行時(shí)的信號(hào)段。特征提?。夯救蝿?wù)是用一組最有效的參數(shù)來(lái)表征原始動(dòng)作信號(hào)，實(shí)現(xiàn)數(shù)據(jù)的壓縮，并盡可能做到不

12、同手語(yǔ)動(dòng)作對(duì)應(yīng)的信號(hào)特征差異明顯。分類(lèi)識(shí)別階段：線性判別分類(lèi)器LDC因其良好的性能和較低的計(jì)算復(fù)雜度作為實(shí)時(shí)手勢(shì)SEMG信號(hào)分類(lèi)的首選算法。,手勢(shì)識(shí)別與交互系統(tǒng),,用戶(hù)使用此系統(tǒng)進(jìn)行手勢(shì)識(shí)別實(shí)驗(yàn)的截圖,系統(tǒng)軟件界面包括信號(hào)實(shí)時(shí)顯示、系統(tǒng)參數(shù)調(diào)整、功能控制選擇和結(jié)果顯示4個(gè)主要區(qū)域。系統(tǒng)軟件包含存儲(chǔ)訓(xùn)練樣本和實(shí)時(shí)測(cè)試兩個(gè)基本功能。當(dāng)使用存儲(chǔ)訓(xùn)練樣本功能時(shí)，系統(tǒng)可以對(duì)每一個(gè)手勢(shì)動(dòng)作所對(duì)應(yīng)的活動(dòng)段信號(hào)進(jìn)行特征提取，并將特征數(shù)據(jù)存儲(chǔ)在