五線譜樂譜圖像識別與演奏

1、五線譜樂譜圖像識別與演奏,2011年10月26日,1,北京交通大學(xué),主要內(nèi)容,背景基本樂理知識與算法原理實現(xiàn)步驟總結(jié)與展望,2,背景,現(xiàn)代計算機科學(xué)與音樂藝術(shù)的結(jié)合產(chǎn)生了計算機音樂，人們對音樂的創(chuàng)作、演奏、傳播從傳統(tǒng)的手工作業(yè)方式一躍而為高科技方式。目前，數(shù)字樂譜的錄入工作主要由人手動完成，輸入工作量大、效率低。因此，不可避免地產(chǎn)生了低速的音樂信息輸入與高速信息處理之間的矛盾。目標(biāo)：計算機讀懂五線譜并進行演奏,3,背景,計算機

2、光學(xué)樂譜識別（Optical Music Recognition，OMR）技術(shù)，利用圖像處理、模式識別、文檔圖像分析等相關(guān)技術(shù)，把樂譜圖像自動轉(zhuǎn)化成通用的數(shù)字音樂格式。應(yīng)用范圍：計算機音樂計算機輔助音樂教學(xué)數(shù)字音樂圖書館等等,4,基本樂理知識與算法原理,5,模板匹配算法,6,,基于FFT的快速算法,1）對模板和待測圖像進行延拓2）對待測圖像進行預(yù)處理，用二維FFT算法對其進行處理3）用二維FFT算法對模板進行處理，并取共軛

3、4）將待測圖像的變換矩陣與模板的變換矩陣相乘5）對結(jié)果做IFFT變換，并作歸一化處理，得到相關(guān)系數(shù)矩陣,7,流程圖,8,讀取圖像,圖像預(yù)處理,譜線識別與刪除,樂譜分割,模板匹配,,,單行樂譜生成,樂譜分段載入,音頻播放,主要流程步驟,圖像預(yù)處理 RGB圖像 grb2gray（） 灰度圖像 設(shè)置合理

4、閾值，灰度大于閾 值的設(shè)為255，小于閾值的 二值圖像 設(shè)為0,9,,,主要流程步驟,圖像預(yù)處理,10,轉(zhuǎn)化后的二值圖像,主要流程步驟,譜線識別與刪除,11,主要流程步驟,譜線刪除后的樂譜圖像,12,主要流程步驟,音符識別,13,主要流程步驟,音符識別,14,主要流程步驟,符梁的提取,15,主要流程步驟,16,GPCAD音階頻率表,樂譜的生成,程序運行結(jié)

5、果,樂譜對應(yīng)的頻率：frequent =330 392 494 392 440 392 349 494 440 330 392 494 587 587音符對應(yīng)的時長：time =8 8 8 8 4 8 8 4 4 2 8 8 8 8,17,總結(jié)與展望,尚未解決的問題