視聽覺情感語義相干及應(yīng)用研究.pdf

1、視聽觸等感覺通道是人類從外界獲取信息的主要途徑，它們對人類學(xué)習(xí)、記憶起著極其重要的作用，且各自分工、相互合作地實(shí)現(xiàn)人類信息的獲取。與視覺、聽覺相關(guān)的圖像、音樂中蘊(yùn)含著豐富的情感語義，如何提取、表示以及在多種語義信息相干下如何影響人類認(rèn)知是當(dāng)前計(jì)算機(jī)領(lǐng)域的前沿問題。本文以探索何種情況下情感語義相二F能有效促進(jìn)或增強(qiáng)人類記憶效果為切入點(diǎn)展開研究，內(nèi)容涉及心理學(xué)、認(rèn)知科學(xué)、音樂及圖像處理等學(xué)科的相關(guān)知識。本文針對視聽覺情感語義、情感語義相干以

2、及它們對認(rèn)知記憶的影響與應(yīng)用等方面進(jìn)行了如下探索：
　　 ⑴建立了情感語義表示模型，探索了情感語義相關(guān)機(jī)理。在研究情感語義的基礎(chǔ)上，通過形容詞辨識實(shí)驗(yàn)建立描述情感語義的語言值集，借助自然語言處理中的語言值計(jì)算模型及模糊語義相似關(guān)系建立了情感語義表示模型；通過語義認(rèn)知實(shí)驗(yàn)獲得情感空間和情感矩陣的具體形式，定義語言值系統(tǒng)的語法與推理機(jī)制來研究情感語義的相干，并通過情感語義相干性實(shí)驗(yàn)證明此模型符合情感語義認(rèn)知的心理模式，具有廣泛的適用

3、性。
　　 ⑵基于特征融合建立了視覺情感語義提取算法。通過提取圖像的顏色、紋理和形狀特征，提出一種加權(quán)特征融合算法以更好地表達(dá)情感語義，并在圖像情感語義識別映射過程中，用同一種映射算法跟單獨(dú)特征的映射進(jìn)行比較，證明加權(quán)特征融合算法的有效性。
　　 ⑶基于SVM建立了聽覺情感語義識別算法。對音樂特征的提取，采用易于解析的MIDI文件，提出一系列高層特征提取算法：基于音程統(tǒng)計(jì)法和SVM算法來定位主音軌，基于音調(diào)無關(guān)編碼方式和

4、字符比對的二列比較法提取主旋律。對音樂情感語義的映射，提出一種基于改進(jìn)PSO算法的SVM選擇性集成學(xué)習(xí)算法，通過對SVM和SVM集成學(xué)習(xí)算法比較、SVM集成學(xué)習(xí)算法和BP神經(jīng)網(wǎng)絡(luò)算法的比較，證明本算法可以有效的應(yīng)用于音樂情感語義的識別中。
　　 ⑷結(jié)合實(shí)際應(yīng)用場景，探索了視聽覺情感語義相關(guān)對認(rèn)知記憶效果影響的機(jī)理。通過認(rèn)知心理學(xué)實(shí)驗(yàn)研究不同視聽覺情感語義相干對認(rèn)知記憶效果的影響規(guī)律，并將其應(yīng)用于煤礦救護(hù)游戲式培訓(xùn)系統(tǒng)中，以促進(jìn)和