視聽時(shí)序知覺的認(rèn)知與神經(jīng)機(jī)制：來自心理物理與電生理研究的證據(jù).pdf

1、時(shí)間一直以來都是一個困擾著哲學(xué)家和心理學(xué)家的謎。它對人類的行為、認(rèn)知和意識都很重要。時(shí)間的概念是復(fù)雜和多元的。本文主要關(guān)注的是時(shí)序知覺而非時(shí)距知覺。時(shí)序知覺指的是事件的順序，即兩個事件同時(shí)或相繼發(fā)生時(shí)彼此的同時(shí)性、連續(xù)性及順序性關(guān)系。時(shí)序知覺是我們理解語音、欣賞音樂、參與體育運(yùn)動等知覺與行為的基礎(chǔ)。概括地說，本文包括的四個研究利用了行為和電生理方法，分別探討了視聽時(shí)序知覺的幾個不同的理論問題。
　　首先，同時(shí)性知覺和多感覺整合都隨

2、著刺激起始異步性(stimulus onsetasynchrony, SOA)的變化而變化，但是行為、病人和損傷研究都表明兩者是分離的加工過程。盡管研究發(fā)現(xiàn)同時(shí)性知覺和多感覺整合在適應(yīng)了不同時(shí)的刺激后都會發(fā)生改變，但是還沒有研究直接比較這兩種適應(yīng)模式的差異。研究1旨在解決這個問題，我們使用了McGurk言語材料，要求被試完成同時(shí)性判斷任務(wù)和言語識別任務(wù)。結(jié)果發(fā)現(xiàn)，在適應(yīng)了不同時(shí)的刺激后，知覺到的同時(shí)和McGurk效應(yīng)都偏向了時(shí)間延遲的方

3、向。兩個加工的適應(yīng)后效既沒有顯著的差異，也沒有顯著的相關(guān)。此外，McGurk效應(yīng)還在時(shí)間延遲的方向上有顯著的增大，這并不能完全用反應(yīng)的偏移來解釋。因此，研究1表明同時(shí)性知覺和多感覺整合代表的外顯和內(nèi)隱計(jì)時(shí)的適應(yīng)后效既有相似也有差異。
　　其次，適應(yīng)不同時(shí)的刺激可以使觀察者知覺為同時(shí)的SOA偏向時(shí)間延遲的方向（即對不同時(shí)的刺激的適應(yīng)影響隨后的時(shí)序判斷，這種適應(yīng)后效被稱為時(shí)間再校準(zhǔn))。雖然同時(shí)發(fā)生的多重時(shí)間再校準(zhǔn)（指同時(shí)適應(yīng)多對不同時(shí)

4、的刺激，其適應(yīng)后效彼此獨(dú)立）被認(rèn)為具有空間特異性，但更重要的決定條件可能是多對不同的刺激必須要先通過知覺組織結(jié)合為不同的客體。研究2探討了使得兩對刺激能更明顯地區(qū)分開來的物理差異能否獨(dú)立地引發(fā)多重時(shí)間再校準(zhǔn)，即使刺激在空間上是重合的。實(shí)驗(yàn)1操縱了復(fù)雜視聽刺激的物理差異，相比兩個不同的講話者念不同的音節(jié)，一個講話者念兩個不同音節(jié)明顯地減小了言語刺激的物理差異;當(dāng)觀察者同時(shí)適應(yīng)這兩個音節(jié)各自不同的時(shí)間延遲后，物理差異減小使得它們各自獨(dú)立的時(shí)

5、間再校準(zhǔn)也消失了。實(shí)驗(yàn)2通過使得兩個刺激非時(shí)間維度的特征更復(fù)雜(比如圓盤有兩個而不是一個屬性構(gòu)成，聲音函數(shù)是兩個頻率的乘積）來增大簡單刺激的物理差異，結(jié)果觀察到每對刺激各自獨(dú)立的時(shí)間再校準(zhǔn);但是這種操作的效果比較弱。實(shí)驗(yàn)3進(jìn)一步表明兩對刺激時(shí)間結(jié)構(gòu)的差異（一個突變一個漸變）也足以引發(fā)多重時(shí)間再校準(zhǔn)。研究2的結(jié)果說明刺激差異越大，特別是時(shí)間結(jié)構(gòu)的差異，多個刺激的時(shí)間再校準(zhǔn)就越有可能各自獨(dú)立地發(fā)生，即使這些刺激在空間上是重合的。這提示知覺組

6、織可能先于時(shí)間再校準(zhǔn)。
　　再次，研究3探討了當(dāng)一個聲音刺激只跟一前一后兩個閃光刺激中的一個同時(shí)時(shí)，依據(jù)空間的時(shí)間綁定是否要優(yōu)于依據(jù)特征的時(shí)間綁定。在實(shí)驗(yàn)4中，連續(xù)的不同顏色的閃光要么出現(xiàn)在一個空間位置，要么出現(xiàn)在兩個不同的空間位置，被試的任務(wù)是判斷哪一個顏色的閃光與聲音是同時(shí)的，而忽略它出現(xiàn)的位置。在實(shí)驗(yàn)5中，兩個閃光總是出現(xiàn)在左右兩側(cè)的位置，它們要么是相同的顏色，要么是不同的顏色，被試的任務(wù)是判斷哪一側(cè)的閃光與聲音是不同的，而

7、忽略它的顏色。結(jié)果發(fā)現(xiàn)，當(dāng)兩個閃光位于同一位置時(shí)，通過顏色線索完成的視聽時(shí)間綁定要顯著地差于當(dāng)它們位于不同位置時(shí);而當(dāng)兩個閃光顏色相同時(shí)，通過空間線索完成的時(shí)間綁定則要顯著地好于當(dāng)它們顏色不同時(shí)。比較兩個實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，只能利用空間線索進(jìn)行時(shí)間綁定時(shí)的成績要顯著好于只能利用顏色線索時(shí)。因此，研究3表明利用空間線索的視聽時(shí)間綁定要優(yōu)于利用特征線索，提示時(shí)間與空間可能聯(lián)結(jié)得更緊密，它們的綁定可能發(fā)生在更早期的加工階段。
　　最后，研

8、究已經(jīng)證實(shí)大腦的神經(jīng)振蕩的活動處于不斷變化中，并且刺激出現(xiàn)前的振蕩活動與隨后的行為結(jié)果和知覺判斷存在著相關(guān)。研究4采用腦電圖的功率譜分析探討了視聽刺激出現(xiàn)前的振蕩活動如何調(diào)節(jié)了對它們是否同時(shí)的辨別。相比于對視覺先的刺激序列做出不同時(shí)判斷，當(dāng)被試做出同時(shí)判斷時(shí)，刺激前約15～19Hz和42～45 Hz頻段的能量更弱，而相比于對聽覺先的刺激序列做出不同時(shí)判斷，當(dāng)被試做出同時(shí)性判斷時(shí)，刺激前約23～28Hz和45～48 Hz頻段的能量更強(qiáng)。并

9、且，刺激前beta和gamma振蕩還能夠分別預(yù)測被試對兩種物理刺激序列的同時(shí)性報(bào)告，盡管趨勢剛好相反。這一結(jié)果表明持續(xù)的振蕩能夠預(yù)測隨后的視聽同時(shí)性判斷，并且盡管兩種物理刺激序列都可能被知覺為同時(shí)，卻分別對應(yīng)于不同的神經(jīng)基礎(chǔ)，說明主觀同時(shí)性其實(shí)不是同質(zhì)的。
　　總的來說，研究1發(fā)現(xiàn)，同時(shí)性知覺和多感覺整合代表的外顯和內(nèi)隱計(jì)時(shí)的適應(yīng)后效既有相似也有差異。研究2表明視聽事件間非常明顯的物理差異，特別是時(shí)間結(jié)構(gòu)的差異使得對它們各自時(shí)間關(guān)

10、系的適應(yīng)能夠同時(shí)且獨(dú)立地發(fā)生，即使兩個事件出現(xiàn)在同一空間位置。研究3證實(shí)，提供充分的空間線索能夠促進(jìn)時(shí)間與特征的綁定，而提供充分的特征線索卻干擾時(shí)間與空間的綁定。研究4發(fā)現(xiàn)，刺激前的高頻神經(jīng)振蕩能夠預(yù)測視聽同時(shí)性判斷，并且對視覺先于聽覺與聽覺先于視覺的兩種刺激序列來說其預(yù)測源是有差異的。這些研究結(jié)果為分布計(jì)時(shí)提供了新的證據(jù)，也提示我們，時(shí)序知覺的底層計(jì)時(shí)機(jī)制可能與空間維度存在緊密聯(lián)系，其最終報(bào)告的結(jié)果則可能受到高級認(rèn)知加工如知覺組織的影