視聽覺(jué)情感語(yǔ)義相干及應(yīng)用研究.pdf

1、視聽觸等感覺(jué)通道是人類從外界獲取信息的主要途徑，它們對(duì)人類學(xué)習(xí)、記憶起著極其重要的作用，且各自分工、相互合作地實(shí)現(xiàn)人類信息的獲取。與視覺(jué)、聽覺(jué)相關(guān)的圖像、音樂(lè)中蘊(yùn)含著豐富的情感語(yǔ)義，如何提取、表示以及在多種語(yǔ)義信息相干下如何影響人類認(rèn)知是當(dāng)前計(jì)算機(jī)領(lǐng)域的前沿問(wèn)題。本文以探索何種情況下情感語(yǔ)義相二F能有效促進(jìn)或增強(qiáng)人類記憶效果為切入點(diǎn)展開研究，內(nèi)容涉及心理學(xué)、認(rèn)知科學(xué)、音樂(lè)及圖像處理等學(xué)科的相關(guān)知識(shí)。本文針對(duì)視聽覺(jué)情感語(yǔ)義、情感語(yǔ)義相干以

2、及它們對(duì)認(rèn)知記憶的影響與應(yīng)用等方面進(jìn)行了如下探索：
　　 ⑴建立了情感語(yǔ)義表示模型，探索了情感語(yǔ)義相關(guān)機(jī)理。在研究情感語(yǔ)義的基礎(chǔ)上，通過(guò)形容詞辨識(shí)實(shí)驗(yàn)建立描述情感語(yǔ)義的語(yǔ)言值集，借助自然語(yǔ)言處理中的語(yǔ)言值計(jì)算模型及模糊語(yǔ)義相似關(guān)系建立了情感語(yǔ)義表示模型；通過(guò)語(yǔ)義認(rèn)知實(shí)驗(yàn)獲得情感空間和情感矩陣的具體形式，定義語(yǔ)言值系統(tǒng)的語(yǔ)法與推理機(jī)制來(lái)研究情感語(yǔ)義的相干，并通過(guò)情感語(yǔ)義相干性實(shí)驗(yàn)證明此模型符合情感語(yǔ)義認(rèn)知的心理模式，具有廣泛的適用

3、性。
　　 ⑵基于特征融合建立了視覺(jué)情感語(yǔ)義提取算法。通過(guò)提取圖像的顏色、紋理和形狀特征，提出一種加權(quán)特征融合算法以更好地表達(dá)情感語(yǔ)義，并在圖像情感語(yǔ)義識(shí)別映射過(guò)程中，用同一種映射算法跟單獨(dú)特征的映射進(jìn)行比較，證明加權(quán)特征融合算法的有效性。
　　 ⑶基于SVM建立了聽覺(jué)情感語(yǔ)義識(shí)別算法。對(duì)音樂(lè)特征的提取，采用易于解析的MIDI文件，提出一系列高層特征提取算法：基于音程統(tǒng)計(jì)法和SVM算法來(lái)定位主音軌，基于音調(diào)無(wú)關(guān)編碼方式和

4、字符比對(duì)的二列比較法提取主旋律。對(duì)音樂(lè)情感語(yǔ)義的映射，提出一種基于改進(jìn)PSO算法的SVM選擇性集成學(xué)習(xí)算法，通過(guò)對(duì)SVM和SVM集成學(xué)習(xí)算法比較、SVM集成學(xué)習(xí)算法和BP神經(jīng)網(wǎng)絡(luò)算法的比較，證明本算法可以有效的應(yīng)用于音樂(lè)情感語(yǔ)義的識(shí)別中。
　　 ⑷結(jié)合實(shí)際應(yīng)用場(chǎng)景，探索了視聽覺(jué)情感語(yǔ)義相關(guān)對(duì)認(rèn)知記憶效果影響的機(jī)理。通過(guò)認(rèn)知心理學(xué)實(shí)驗(yàn)研究不同視聽覺(jué)情感語(yǔ)義相干對(duì)認(rèn)知記憶效果的影響規(guī)律，并將其應(yīng)用于煤礦救護(hù)游戲式培訓(xùn)系統(tǒng)中，以促進(jìn)和