基于視聽(tīng)覺(jué)信息融合的欠定語(yǔ)音混合信號(hào)盲分離.pdf

1、盲源分離是指源信號(hào)及其混合方式未知的情況下,僅僅根據(jù)觀測(cè)到的混合信號(hào)來(lái)恢復(fù)源信號(hào)的過(guò)程。盲源分離技術(shù)在無(wú)線電通信、雷達(dá)與聲納信號(hào)處理、醫(yī)學(xué)圖像分析、圖像信號(hào)處理以及語(yǔ)音識(shí)別等領(lǐng)域具有廣泛和潛在的應(yīng)用價(jià)值。在實(shí)際應(yīng)用中,由于條件限制,源信號(hào)的個(gè)數(shù)往往大于麥克風(fēng)的個(gè)數(shù),也就是源信號(hào)個(gè)數(shù)大于觀測(cè)信號(hào)個(gè)數(shù),此時(shí)盲源分離為欠定混合信號(hào)的盲源分離問(wèn)題。對(duì)于欠定混合信號(hào)的盲分離,由于其混合矩陣的不可逆性,使得常用的盲源分離技術(shù),如獨(dú)立分量分析,不能直

2、接用于欠定盲源分離。而且,現(xiàn)有的盲源分離算法大多是采用單模式的盲源分離方法,也就是只利用了聽(tīng)覺(jué)信息來(lái)估計(jì)語(yǔ)音信號(hào)。而近年來(lái)研究表明,人類對(duì)語(yǔ)音信號(hào)的感知通常是雙模式的,也就是利用人類的視覺(jué)信息來(lái)輔助對(duì)語(yǔ)音信號(hào)的感知,提高人類對(duì)語(yǔ)音信號(hào)的感知能力。為了提高機(jī)器聽(tīng)覺(jué)的感知能力,本文主要研究雙模式條件下的欠定混合信號(hào)的盲源分離問(wèn)題,也就是利用機(jī)器視覺(jué)信息來(lái)輔助提高機(jī)器對(duì)語(yǔ)音信號(hào)的感知能力。本文的主要工作為:
　　1、針對(duì)無(wú)回響欠定混合模

3、型,提出了一種基于DUET(Degenerate Un-mixing Estimation Technique)的高斯勢(shì)函數(shù)算法來(lái)恢復(fù)源信號(hào)。該算法利用語(yǔ)音信號(hào)在時(shí)頻域的稀疏特性,利用兩路觀測(cè)信號(hào)在時(shí)頻域的比值來(lái)估計(jì)兩路觀測(cè)信號(hào)之間的延時(shí)和衰減,然后采用高斯勢(shì)函數(shù)法來(lái)估計(jì)混合參數(shù);最后利用估計(jì)出的混合參數(shù)來(lái)估計(jì)各個(gè)源信號(hào)所對(duì)應(yīng)的時(shí)頻掩碼從而得到源信號(hào)的估計(jì)。
　　2、針對(duì)混合參數(shù)的初值選取問(wèn)題,提出了一種基于視聽(tīng)覺(jué)信息融合的勢(shì)函數(shù)