視覺(jué)與聽(tīng)覺(jué)跨模態(tài)轉(zhuǎn)換的認(rèn)知和應(yīng)用研究.pdf

1、在日常生活中,人類(lèi)時(shí)時(shí)刻刻都在攝取來(lái)自不同感官的各種信息,為了完成不同的認(rèn)知任務(wù),我們可能需要將注意力在各個(gè)感官通道上進(jìn)行來(lái)回切換;當(dāng)有的感官通道受到不可逆的損傷時(shí),我們希望通過(guò)從其他感官獲取相關(guān)信息來(lái)進(jìn)行替代。本文主要圍繞視覺(jué)與聽(tīng)覺(jué)跨模態(tài)轉(zhuǎn)換闡述碩士期間的兩項(xiàng)工作:其一,視覺(jué)與聽(tīng)覺(jué)跨模態(tài)轉(zhuǎn)換的認(rèn)知過(guò)程研究。本文采用行為學(xué)實(shí)驗(yàn)和腦電分析的方法,討論了這種自上而下的注意力切換的行為學(xué)和電生理特征,對(duì)比了注意力從聽(tīng)覺(jué)切換到視覺(jué)與從視覺(jué)切換到

2、聽(tīng)覺(jué)的不同特性,計(jì)算了感官間注意力切換所需要的時(shí)間以及對(duì)應(yīng)的腦電成分,并使用事件相關(guān)電位(ERP)這種高時(shí)間分辨率的方法確定了接到注意力轉(zhuǎn)移的任務(wù)以后,開(kāi)始注意力轉(zhuǎn)移的時(shí)間點(diǎn)。我們發(fā)現(xiàn),注意力從視覺(jué)切換到聽(tīng)覺(jué)約需要152ms,而從聽(tīng)覺(jué)切換到視覺(jué)只需要約96ms。對(duì)于事件相關(guān)電位,聽(tīng)覺(jué)提示誘發(fā)的N1、P2幅值均比視覺(jué)提示誘發(fā)的大。注意力從視覺(jué)轉(zhuǎn)移到聽(tīng)覺(jué)誘發(fā)了額葉和中央?yún)^(qū)一個(gè)2μV左右的負(fù)波,而視覺(jué)注意力的保持則表現(xiàn)為一個(gè)接近基線的信號(hào);聽(tīng)

3、覺(jué)注意力的保持誘發(fā)了一個(gè)位于額葉和中央?yún)^(qū)的2μV左右的負(fù)波,而注意力從聽(tīng)覺(jué)轉(zhuǎn)移到視覺(jué)的過(guò)程卻表現(xiàn)為一個(gè)接近基線的信號(hào)。考慮到ERP波形幅值反映了認(rèn)知資源的分配,這很好地驗(yàn)證了“視覺(jué)主導(dǎo)認(rèn)知過(guò)程(visual dominance)”的觀點(diǎn)。此外,注意力的轉(zhuǎn)移會(huì)造成聽(tīng)覺(jué)刺激誘發(fā)的ERP幅值增加,對(duì)于視覺(jué)刺激恰好相反,感官間的注意力切換會(huì)造成視覺(jué)刺激誘發(fā)的ERP幅值減小,我們猜測(cè),這種現(xiàn)象與聽(tīng)覺(jué)對(duì)于注意力的自吸引效應(yīng)和視覺(jué)注意力水平可能有一定

4、關(guān)系。其二,基于聽(tīng)覺(jué)代替視覺(jué)的助盲系統(tǒng)SoundView升級(jí)優(yōu)化工作。為了實(shí)現(xiàn)聽(tīng)覺(jué)代替視覺(jué)的目標(biāo),我們搭建了聽(tīng)覺(jué)引導(dǎo)助盲系統(tǒng)SoundView,它通過(guò)識(shí)別環(huán)境中的某些物體編碼相應(yīng)的語(yǔ)音播放給盲人聽(tīng),告知盲人環(huán)境中重要物體的名稱(chēng)和方位。聽(tīng)覺(jué)引導(dǎo)助盲系統(tǒng)SoundView通過(guò)攝像頭采集視頻輸入嵌入式系統(tǒng)進(jìn)行數(shù)字圖像處理和特征識(shí)別,根據(jù)特定物體所處位置構(gòu)建三維立體聲序列,盲人能夠通過(guò)聲音序列的不同區(qū)別物體,并利用三維立體聲判斷物體方位。為了避

5、免復(fù)雜的模式識(shí)別算法,我們用條形碼標(biāo)記環(huán)境中的重要物體幫助識(shí)別。本課題前期已經(jīng)完成了SoundView系統(tǒng)整體搭建,但是已有的系統(tǒng)存在處理速度過(guò)慢、有效識(shí)別范圍過(guò)小等問(wèn)題。為了改善系統(tǒng)性能,使SoundView更加具有實(shí)用價(jià)值,我們使用長(zhǎng)焦鏡頭和分段特征識(shí)別算法擴(kuò)展了有效距離,同時(shí)簡(jiǎn)化圖像處理程序、使用系統(tǒng)庫(kù)函數(shù)節(jié)省計(jì)算資源,大大提升了SoundView的處理速度,使得在0.5m-6.5m的范圍內(nèi)可以以12幀/秒以上的速度進(jìn)行有效的條形