基于聽(tīng)覺(jué)計(jì)算模型和深度神經(jīng)網(wǎng)絡(luò)的雙耳語(yǔ)音分離.pdf

1、語(yǔ)音是人們最重要的交流方式之一。由于日常生活環(huán)境中噪聲的存在，以及信道傳輸損失等等因素，語(yǔ)音質(zhì)量往往會(huì)受到影響，我們所接收到的語(yǔ)音中所包含的信息也會(huì)大打折扣，因此如何從帶噪語(yǔ)音中分離出干凈的語(yǔ)音，與人們的日常生活息息相關(guān)。故語(yǔ)音分離技術(shù)成為語(yǔ)音信號(hào)處理中一個(gè)重要研究方向。
　　在過(guò)去的幾十年中，傳統(tǒng)的語(yǔ)音分離方法已經(jīng)有了豐富的研究，例如譜減法，維納濾波法等。但是傳統(tǒng)的語(yǔ)音分離方法對(duì)語(yǔ)音和干擾的特性所做的一些假設(shè)，在實(shí)際生活中可能并

2、不能得到滿(mǎn)足，因此也使得其在實(shí)際應(yīng)用場(chǎng)景中的效果大打折扣，比如會(huì)使得分離出的語(yǔ)音帶有“音樂(lè)噪聲干擾”等。近年來(lái)聽(tīng)覺(jué)場(chǎng)景分析這一方法也越來(lái)越多地得到人們的重視和研究。該方法受人耳聽(tīng)覺(jué)處理系統(tǒng)的啟發(fā)，通過(guò)對(duì)語(yǔ)音提取出有效的“場(chǎng)景線(xiàn)索”來(lái)進(jìn)行語(yǔ)音的分離。而基于計(jì)算機(jī)軟件來(lái)實(shí)現(xiàn)對(duì)語(yǔ)音的場(chǎng)景分析和分離方面的研究也方興未艾。但是目前基于分類(lèi)神經(jīng)網(wǎng)絡(luò)的聽(tīng)覺(jué)場(chǎng)景分析方法，雖然能夠有效地提高分離后語(yǔ)音的信噪比，但是卻沒(méi)有很好地保證語(yǔ)音的聽(tīng)感，使得語(yǔ)音存在

3、一些不連續(xù)性的問(wèn)題。
　　為此，在本文中，我們重點(diǎn)研究了如何利用深度神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行語(yǔ)音分離，并改善聽(tīng)感上的不自然的缺點(diǎn);并基于計(jì)算聽(tīng)覺(jué)場(chǎng)景分析理論，針對(duì)雙耳通道語(yǔ)音信號(hào)提取出有效的“場(chǎng)景線(xiàn)索”，提高模型在帶噪環(huán)境下的分離性能;通過(guò)對(duì)人耳聽(tīng)覺(jué)計(jì)算模型的探索，在聽(tīng)覺(jué)皮層感知域?qū)用嫣崛〕鼍哂心M人耳聽(tīng)覺(jué)特性的特征，改善語(yǔ)音分離效果。
　　首先，我們提出了一種基于回歸神經(jīng)網(wǎng)絡(luò)的雙耳通道語(yǔ)音分離方法。與分類(lèi)神經(jīng)網(wǎng)絡(luò)進(jìn)行時(shí)頻單元的分類(lèi)和

4、重組不同，我們利用神經(jīng)網(wǎng)絡(luò)強(qiáng)大的信息提取和建模能力，直接從輸入的帶噪語(yǔ)音中估計(jì)出干凈的目標(biāo)語(yǔ)音。通過(guò)選擇網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)以及最小化均方誤差的準(zhǔn)則，使得最終估計(jì)出的語(yǔ)音特征在時(shí)域和頻域上都保留了很好的連續(xù)性和自然度。實(shí)驗(yàn)結(jié)果表明基于回歸神經(jīng)網(wǎng)絡(luò)的分離方法能很大程度地提升分離后語(yǔ)音的聽(tīng)感。
　　其次，在回歸模型的基礎(chǔ)上，基于聽(tīng)覺(jué)場(chǎng)景分析理論，我們提出了一種基于對(duì)數(shù)能量譜的雙通道特征表示方法。在傳統(tǒng)的對(duì)數(shù)能量譜特征上，我們針對(duì)雙耳通道信息

5、的特點(diǎn)，設(shè)計(jì)了基于頻點(diǎn)和時(shí)間的全頻帶互能量差異性特征和低維度的全局互能量差異性特征。為了使特征在包含足夠信息量的同時(shí)不至于因維度過(guò)高而引入過(guò)多參數(shù)，我們?cè)O(shè)計(jì)了子頻帶互能量差異性特征。實(shí)驗(yàn)結(jié)果表明我們?cè)O(shè)計(jì)的雙通道能量差異性特征有效地利用了雙耳通道信息，較好地提升了分離效果，且基于子頻帶互能量差異性特征的系統(tǒng)性能更優(yōu)。
　　最后，通過(guò)對(duì)聽(tīng)覺(jué)計(jì)算模型領(lǐng)域的學(xué)習(xí)，我們提出了基于聽(tīng)覺(jué)皮層時(shí)頻感知域特征的語(yǔ)音分離方法。通過(guò)對(duì)已有的數(shù)學(xué)模型的研

6、究，我們針對(duì)雙耳通道語(yǔ)音設(shè)計(jì)了模擬時(shí)頻感知域特性的二維濾波器。此外針對(duì)時(shí)頻感知域特征的維度過(guò)高問(wèn)題，我們提出并采用了多種特征降維方式。比如單通道中的頻域平均的方法和主成份分析的方法。在提取雙通道“線(xiàn)索”時(shí)，我們?cè)O(shè)計(jì)了時(shí)頻感知域能量差特征，并使用了全局加權(quán)和和分區(qū)加權(quán)和的降維方式。使得雙通道特征在尺度組合上能達(dá)到最優(yōu)，另外還設(shè)計(jì)了分頻帶加權(quán)和方法，使得雙通道特征在尺度組合上和不同頻帶上都能達(dá)到最優(yōu)。通過(guò)模型對(duì)加權(quán)系數(shù)的學(xué)習(xí)，我們最終得到了