基于漢字的多模態(tài)腦機交互技術研究.pdf

1、人機交互是一種研究人與系統(tǒng)（包括計算機以及機械設備等）信息交換的技術。腦機接口屬于一種新型人機交互方式，它不依賴于正常的外周神經(jīng)和肌肉組織，為大腦和外部設備建立了一條直接的通信渠道。目前腦機接口的主要信號為腦電信號，該信號來自非植入式的采集設備，具有成本低廉、操作方便和無損傷等優(yōu)點。本文針對基于自發(fā)腦電信號的腦機接口進行了深入的研究，在充分分析離線實驗數(shù)據(jù)的基礎上，構建了在線腦機接口訓練系統(tǒng)，有效地提高了腦電信號的識別率。
　　在

2、自發(fā)腦電信號的基礎上設計了基于漢字默讀的語言想象腦機接口，對14位受試者進行離線試驗以采集腦電信號。采用事件相關譜擾動時頻分析算法為每位受試者確定合適的濾波范圍。根據(jù)該濾波范圍計算每個電極的事件相關（去）同步化。實驗結果表明漢字默讀與運動想象類似，也會誘導腦電信號在特定大腦皮層發(fā)生事件相關（去）同步化現(xiàn)象。通過等效偶極子源定位計算腦電信號的空間源分布，使用事件相關譜擾動圖判斷與漢字默讀相關的偶極子。采用共空間模式作為特征提取的算法，兩個

3、漢字默讀各自相對空閑狀態(tài)的特征向量通過支持向量機分類后的結果分別為81.3％和81.4％。共空間模式易受到噪聲的干擾，通過優(yōu)化濾波范圍后兩者的分類準確率分別提高到83.5％和83.1％。
　　為了提高自發(fā)腦電信號的穩(wěn)定性，設計了附加語言想象的意識任務多模態(tài)腦機接口。對10位受試者進行了兩個離線子實驗:第一個為附加語言想象的意識任務;第二個為單一的意識任務。從頻率、時間和空間三個角度來分析這兩個子實驗腦電信號的穩(wěn)定性，分析方法分別為

4、自回歸功率譜密度、克隆巴赫α系數(shù)和共空間模式空間濾波。結果表明附加語言想象的意識任務所產(chǎn)生的信號更具有穩(wěn)定性。兩段想象期的信號分別與空閑期的信號相比較的分類結果在附加了語言想象后分別提高了4.2％和7.2％，兩段想象期之間的準確率也提高了6.0％。為了進一步提高不同意識任務間腦電信號的分類準確率，提出了基于互信息的時間-頻率范圍選擇模型。在優(yōu)化信號的時間-頻率范圍后，平均準確率提高了2.8％。
　　針對運動想象腦機接口的操作維數(shù)數(shù)

5、量有限，且維數(shù)較多時需要長期的訓練才能獲得滿意的結果。將語言想象與左右手運動想象相結合，組成具有三維操作的多模態(tài)腦機接口。通過事件相關譜擾動圖分析每個電極的EEG信號在這三種想象中的時間和頻率特征，發(fā)現(xiàn)這些想象所誘導的信號在不同電極上可產(chǎn)生不同的能量變化。共空間模式算法按照一對一的計算模型擴展為三分類算法，并將其提取的能量特征與互相關方程和相位鎖定值分別計算的同步化特征相結合以改善分類準確率。提出兩類意識任務同步化差異最大的方法來選擇同

6、步化計算所用的電極對。10位受試者的實驗結果為:語言想象的分類準確率最高(74.3％)，其次為左手運動想象(71.4％)，最后為右手運動想象(69.8％)。
　　目前腦機接口的反饋訓練主要針對運動想象實驗范式所開展，本文在語言想象離線實驗數(shù)據(jù)分析的基礎上設計了基于語言想象的在線腦機接口訓練系統(tǒng)。訓練系統(tǒng)的硬件設備為Quik-Cap腦電帽、Neuroscan SynAmps2系統(tǒng)和臺式計算機，并聯(lián)合SCAN4.5、BCI2000和M

7、atlab作為訓練系統(tǒng)的軟件平臺。在線訓練所用的兩個電極來自Fisher準則函數(shù)。預處理所用的濾波范圍來自離線實驗數(shù)據(jù)的時頻分析。特征提取采用方差和功率譜密度這兩種方式。分類器為計算速度更快的極限學習機。特征向量和分類模型隨著訓練的進行不斷更新，這保證了算法的自適應性。通過兩步?jīng)Q策融合來決定反饋的結果，該方法具有更強的抗干擾性和魯棒性。6位受試者經(jīng)過4次訓練后的結果表明:通過一定的反饋訓練可幫助他們更好地操作腦機接口系統(tǒng)，其中第二、三和