多模式交互音樂感知關(guān)鍵技術(shù)與實驗研究.pdf

1、音樂是情感的語言和藝術(shù)，情感是音樂的本質(zhì)特征。但是迄今為止，人們感知音樂情感的主要方式仍然是憑借聽覺，不能通過有效的方法去“看”音樂、“觸摸”音樂，即不能通過“聽覺、視覺和觸覺”的多種感知模式交互體驗音樂的情感。因此，本課題交叉、融和音樂學(xué)、認知心理學(xué)、心理物理學(xué)、多媒體技術(shù)、信號處理、模式識別與智能控制、虛擬現(xiàn)實和儀器科學(xué)等學(xué)科知識，以提高音樂情感識別率和基于“聽-視-觸覺”增強感知音樂的沉浸感為切入點，研究了音樂情感特征的提取與識別

2、技術(shù);設(shè)計了“熱觸覺感知與復(fù)現(xiàn)”實驗裝置和“可視音樂感知”實驗裝置，系統(tǒng)地開展了人手指熱觸覺感知、基于“聽-視覺”的音樂感知、基于“聽-熱觸覺”的音樂感知和基于“聽-視-熱觸覺”多模式交互的音樂感知等方面的心理物理實驗研究。
　　論文的主要創(chuàng)新點在于把熱觸覺用于音樂感知，通過一系列心理物理實驗，從技術(shù)層面確定了一種能夠產(chǎn)生強烈沉浸感的可視音樂的表現(xiàn)形式，提出了一種“熱觸覺輔助感知音樂”的設(shè)計方案，以及基于“聽-視-熱觸覺”多通道交

3、互感知音樂的設(shè)計方案。通過本課題的研究，為今后設(shè)計基于“聽-視-熱觸覺”多通道交互感知音樂的接口與裝置提供了理論基礎(chǔ)和技術(shù)支持。
　　論文的主要研究工作和取得的進展如下:
　　(1)基于“效價-激勵”情感模型，把音樂情感建模視為一個由情感效價值和激勵值確定的一個連續(xù)變量;提取音樂的能量、韻律、和聲、時域和頻譜等特征，并通過主成分分析空間投影和Relief特征選擇的方法對音樂特征空間降維;應(yīng)用多元自適應(yīng)回歸樣條法、支持向量回歸

4、、徑向基函數(shù)回歸、隨機森林回歸和回歸神經(jīng)網(wǎng)絡(luò)等機器學(xué)習(xí)算法，分別對“效價-激勵情感平面”的效價和激勵值進行回歸，這些算法均實現(xiàn)了較好的音樂情感回歸，其中在Relief特征空間分別基于支持向量機回歸法和隨機森林回歸算法實現(xiàn)了最優(yōu)的回歸結(jié)果，情感效價和激勵值的R2統(tǒng)計值分別為29.3％和62.5％，優(yōu)于已有文獻報道的結(jié)果;基于支持向量機分類、K鄰域分類、模糊神經(jīng)網(wǎng)絡(luò)分類、模糊K鄰域分類、貝葉斯分類和Fisher線性判別等算法，對音樂情感進行

5、了分類，其中支持向量機、模糊K鄰域以及Fisher線性判別算法實現(xiàn)的音樂情感分類正確率都大于80％;提出了一種新算法“混合分類器”，基于該算法實現(xiàn)的音樂情感識別率達到84.9％。
　　(2)基于半無限體模型的熱觸覺感知機理，應(yīng)用嵌入式技術(shù)、模糊控制技術(shù)和虛擬儀器技術(shù)設(shè)計了3套“熱觸覺感知與復(fù)現(xiàn)”實驗裝置，實驗裝置的控溫范圍在-10℃-130℃、溫度分辨率和精度分別為0.01℃和±0.1℃、最大升溫或降溫速率大于12℃/s，能夠快速

6、、精準實現(xiàn)特定波形的溫度輸出;利用“熱觸覺感知與復(fù)現(xiàn)”裝置，開展了手指熱觸覺感知特性實驗、手指熱觸覺差別閾限測量實驗、情感與溫度的映射實驗、熱觸覺激勵情感識別實驗和基于熱觸覺的虛擬環(huán)境材質(zhì)識別實驗;測量了手指冷熱感知和舒適度感知的溫度閾值、手指的熱觸覺溫度差別閾限;驗證了人的情感與熱觸覺在冷熱感知和舒適度感知的量度上是一致的、和諧的和可以相互表征的關(guān)系，通過熱觸覺感知通道能夠增強人的情感認知;實驗結(jié)果進一步表明，熱觸覺感知與復(fù)現(xiàn)技術(shù)可以

7、增強人在認知過程和情感體驗中的真實感和沉浸感。
　　(3)基于HTML5技術(shù)開發(fā)了一種“可視音樂感知實驗系統(tǒng)”，該系統(tǒng)操作方便、表現(xiàn)形式豐富，可以滿足多模式音樂感知實驗的要求;基于該系統(tǒng)，在被試自主感知實驗的基礎(chǔ)上通過問卷調(diào)查及統(tǒng)計分析，探討了不同情感類型的可視音樂表現(xiàn)形式，為開發(fā)“與音樂情感表達同步的可視音樂系統(tǒng)”提供了設(shè)計方案。
　　(4)基于本文開發(fā)的“可視音樂感知實驗系統(tǒng)”和“熱觸覺感知與復(fù)現(xiàn)實驗裝置”，按照心理物理

8、實驗規(guī)范，制定了“重復(fù)測量兩個因素的四因素混合設(shè)計”和“兩因素完全隨機實驗被試間設(shè)計”的實驗方案，開展了基于“聽覺和視覺”的可視音樂感知實驗、基于“聽覺和熱觸覺輔助”的音樂感覺實驗和基于“聽覺、視覺和熱觸覺”多模式交互的音樂感知實驗;基于SPSS軟件對實驗數(shù)據(jù)進行統(tǒng)計分析，檢驗了“音樂情感類型、可視音樂動態(tài)畫面的情感類型和熱觸覺的情感類型”作用于感知音樂情感的沉浸度的主效應(yīng)，以及兩者交互作用的主效應(yīng)和簡單效應(yīng)，提出了一種基于“聽-視-熱