動作意圖理解的雙模態(tài)分析及分類研究.pdf

1、動作意圖理解是指人在觀察他人動作時，自發(fā)地理解動作所包含的意圖的一種行為，這種行為對人類心智、語言和社會化的發(fā)展都具有重要的意義。目前針對動作意圖的理解的研究大多采用單模態(tài)的腦成像技術(shù)，在測量的效果和時空分辨率上都存在一定的缺陷。而本研究采用腦電(electroencephalography，EEG)和功能近紅外（functionalnear-infrared spectroscopy，fNIRS）結(jié)合的雙模態(tài)腦成像技術(shù)，可以同步測量大

2、腦活動的電位信息和血氧變化信息，實現(xiàn)動作意圖理解神經(jīng)機制的多信息、多層面研究。本研究選擇了三種手與杯子進行接觸的圖片來表示喝水、移動和不合理的動作意圖;使用EEG-fNIRS雙模態(tài)設備測量被試在觀察這三種圖片時的大腦活動;并通過溯源分析、幅值差異分析和腦網(wǎng)絡分析探究動作意圖理解的神經(jīng)機制;最后結(jié)合差異分析的結(jié)果采用支持向量機(support vector machine，SVM)對兩種不同的動作意圖進行分類。
　　本研究通過溯源分

3、析對動作意圖理解激活的腦區(qū)進行定位，EEG溯源分析的結(jié)果顯示:左側(cè)腦區(qū)的顳頂葉在100 ms-160 ms之間激活最強，右側(cè)腦區(qū)的顳頂葉在160ms-210 ms之間激活最強。fNIRS溯源結(jié)果進一步將激活的腦區(qū)位置定位在運動前區(qū)、頂下小葉和右側(cè)顳上溝。通過方差分析和t檢驗可以對EEG和fNIRS的信號進行幅值差異分析，發(fā)現(xiàn)在左側(cè)腦區(qū)喝水意圖的激活強于移動和不合理意圖，而在右側(cè)顳上溝附近不合理意圖的激活最強。綜合這些分析結(jié)果，本研究提出

4、了動作意圖理解的級聯(lián)-偏側(cè)化模型，級聯(lián)是指左側(cè)半球的運動前區(qū)和頂下小葉位置先被激活，負責理解動作行為，接著右側(cè)半球顳葉位置被激活，負責理解動作的深層含義。偏側(cè)化是指在理解喝水等常規(guī)或是熟練的動作意圖時左側(cè)鏡像神經(jīng)元系統(tǒng)發(fā)揮了主要作用，此時左側(cè)腦區(qū)的激活明顯，而右側(cè)腦區(qū)屬于心智化網(wǎng)絡的顳上溝在理解不合理或是復雜意圖時激活顯著。此外，我們還通過構(gòu)建EEG和fNIRS的腦網(wǎng)絡來分析不同意圖間網(wǎng)絡指標的差異，腦網(wǎng)絡指標差異的結(jié)果也驗證了動作意圖

5、理解的偏側(cè)化效應。
　　在分析了動作意圖理解的神經(jīng)機制的前提下，本文對喝水意圖和不合理意圖的分類問題進行研究。提出了以腦網(wǎng)絡局部節(jié)點指標為特征的特征提取方法，選擇存在顯著性差異的局部節(jié)點指標作為特征向量，使用支持向量機作為分類器進行分類。同時為了提高分類正確率我們將EEG-fNIRS雙模態(tài)數(shù)據(jù)進行特征層融合，平均分類正確率達到59.9％，高于任一單模態(tài)正確率。
　　基于溯源分析提供的大腦激活的位置和時間信息以及差異分析得出的