動(dòng)作意圖理解的雙模態(tài)分析及分類研究.pdf

1、動(dòng)作意圖理解是指人在觀察他人動(dòng)作時(shí)，自發(fā)地理解動(dòng)作所包含的意圖的一種行為，這種行為對(duì)人類心智、語(yǔ)言和社會(huì)化的發(fā)展都具有重要的意義。目前針對(duì)動(dòng)作意圖的理解的研究大多采用單模態(tài)的腦成像技術(shù)，在測(cè)量的效果和時(shí)空分辨率上都存在一定的缺陷。而本研究采用腦電(electroencephalography，EEG)和功能近紅外（functionalnear-infrared spectroscopy，fNIRS）結(jié)合的雙模態(tài)腦成像技術(shù)，可以同步測(cè)量大

2、腦活動(dòng)的電位信息和血氧變化信息，實(shí)現(xiàn)動(dòng)作意圖理解神經(jīng)機(jī)制的多信息、多層面研究。本研究選擇了三種手與杯子進(jìn)行接觸的圖片來(lái)表示喝水、移動(dòng)和不合理的動(dòng)作意圖;使用EEG-fNIRS雙模態(tài)設(shè)備測(cè)量被試在觀察這三種圖片時(shí)的大腦活動(dòng);并通過(guò)溯源分析、幅值差異分析和腦網(wǎng)絡(luò)分析探究動(dòng)作意圖理解的神經(jīng)機(jī)制;最后結(jié)合差異分析的結(jié)果采用支持向量機(jī)(support vector machine，SVM)對(duì)兩種不同的動(dòng)作意圖進(jìn)行分類。
　　本研究通過(guò)溯源分

3、析對(duì)動(dòng)作意圖理解激活的腦區(qū)進(jìn)行定位，EEG溯源分析的結(jié)果顯示:左側(cè)腦區(qū)的顳頂葉在100 ms-160 ms之間激活最強(qiáng)，右側(cè)腦區(qū)的顳頂葉在160ms-210 ms之間激活最強(qiáng)。fNIRS溯源結(jié)果進(jìn)一步將激活的腦區(qū)位置定位在運(yùn)動(dòng)前區(qū)、頂下小葉和右側(cè)顳上溝。通過(guò)方差分析和t檢驗(yàn)可以對(duì)EEG和fNIRS的信號(hào)進(jìn)行幅值差異分析，發(fā)現(xiàn)在左側(cè)腦區(qū)喝水意圖的激活強(qiáng)于移動(dòng)和不合理意圖，而在右側(cè)顳上溝附近不合理意圖的激活最強(qiáng)。綜合這些分析結(jié)果，本研究提出

4、了動(dòng)作意圖理解的級(jí)聯(lián)-偏側(cè)化模型，級(jí)聯(lián)是指左側(cè)半球的運(yùn)動(dòng)前區(qū)和頂下小葉位置先被激活，負(fù)責(zé)理解動(dòng)作行為，接著右側(cè)半球顳葉位置被激活，負(fù)責(zé)理解動(dòng)作的深層含義。偏側(cè)化是指在理解喝水等常規(guī)或是熟練的動(dòng)作意圖時(shí)左側(cè)鏡像神經(jīng)元系統(tǒng)發(fā)揮了主要作用，此時(shí)左側(cè)腦區(qū)的激活明顯，而右側(cè)腦區(qū)屬于心智化網(wǎng)絡(luò)的顳上溝在理解不合理或是復(fù)雜意圖時(shí)激活顯著。此外，我們還通過(guò)構(gòu)建EEG和fNIRS的腦網(wǎng)絡(luò)來(lái)分析不同意圖間網(wǎng)絡(luò)指標(biāo)的差異，腦網(wǎng)絡(luò)指標(biāo)差異的結(jié)果也驗(yàn)證了動(dòng)作意圖

5、理解的偏側(cè)化效應(yīng)。
　　在分析了動(dòng)作意圖理解的神經(jīng)機(jī)制的前提下，本文對(duì)喝水意圖和不合理意圖的分類問(wèn)題進(jìn)行研究。提出了以腦網(wǎng)絡(luò)局部節(jié)點(diǎn)指標(biāo)為特征的特征提取方法，選擇存在顯著性差異的局部節(jié)點(diǎn)指標(biāo)作為特征向量，使用支持向量機(jī)作為分類器進(jìn)行分類。同時(shí)為了提高分類正確率我們將EEG-fNIRS雙模態(tài)數(shù)據(jù)進(jìn)行特征層融合，平均分類正確率達(dá)到59.9％，高于任一單模態(tài)正確率。
　　基于溯源分析提供的大腦激活的位置和時(shí)間信息以及差異分析得出的