語音識別中神經(jīng)網(wǎng)絡(luò)聲學(xué)模型的說話人自適應(yīng)研究.pdf

1、近年來，深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network，DNN)技術(shù)在自動語音識別(Auto Speech Recognition，ASR)中取得了重大的突破，相比于傳統(tǒng)的高斯混合模型(Gaussian Mixture Model，GMM)顯著地提升了系統(tǒng)的識別性能。然而，像其他監(jiān)督學(xué)習(xí)方法一樣，DNN容易受到由于訓(xùn)練和測試條件不匹配導(dǎo)致的性能下降的影響，說話人自適應(yīng)(Speaker Adaptation，SA)是為了解決說話人差

2、異導(dǎo)致的不匹配問題，在基于神經(jīng)網(wǎng)絡(luò)的聲學(xué)模型上研究說話人自適應(yīng)技術(shù)成為語音識別領(lǐng)域的一個熱門方向。本文分別從特征和模型的角度對說話人自適應(yīng)方法進行研究，對這些自適應(yīng)方法進行融合和改進，并深入探究基于卷積神經(jīng)網(wǎng)絡(luò)的說話人自適應(yīng)方法，論文的主要研究工作如下:
　　首先，針對聲學(xué)模型中DNN對說話人信息辨別能力差的情況，引入基于輔助特征的說話人自適應(yīng)方法，將包含說話人信息的特征與聲學(xué)特征拼接共同作為DNN的輸入，增強網(wǎng)絡(luò)對說話人信息的感

3、知能力。實驗結(jié)果表明，基于輔助特征的說話人自適應(yīng)方法有助于提升網(wǎng)絡(luò)的區(qū)分能力，減小說話人之間的差異性，進而降低系統(tǒng)的單詞錯誤率。
　　接著，深入研究基于學(xué)習(xí)性隱層單元分布(Learning Hidden Unit Contributions，LHUC)的模型域自適應(yīng)方法，并分別采取兩種策略對原方法進行改進。從自適應(yīng)方法之間的互補性角度出發(fā)，本文提出LHUC與輔助特征相融合的方法進一步提升系統(tǒng)的識別性能。此外，為了解決自適應(yīng)階段的數(shù)

4、據(jù)稀疏問題，多任務(wù)學(xué)習(xí)(Multi-task Learning，MTL)引入到LHUC自適應(yīng)中，它通過加入額外的音素分類任務(wù)作為輔助任務(wù)幫助自適應(yīng)參數(shù)更新。實驗結(jié)果表明，基于融合的自適應(yīng)方法能夠有效地提升模型對特定說話人的匹配程度，進一步降低系統(tǒng)的單詞錯誤率;基于MTL-LHUC的自適應(yīng)方法通過擴大聲學(xué)空間的覆蓋范圍彌補了稀少的狀態(tài)分類問題，在有限的自適應(yīng)數(shù)據(jù)條件下取得了更出色的性能提升。
　　最后，本文對卷積神經(jīng)網(wǎng)絡(luò)（Convo

5、lutional Neural Network，CNN）框架的說話人自適應(yīng)方法展開研究。為了利用LHUC這種具有諸多優(yōu)良特性的模型域自適應(yīng)方法，本文嘗試對該方法進行改進使之適用于CNN的聲學(xué)模型中，分別通過對比實驗比較自適應(yīng)層置于卷積層、池化層以及輸入層的性能差異并證實該方法的有效性。同時，本文還提出一種基于i-vector的卷積層自適應(yīng)結(jié)構(gòu)，該方法通過一個變換矩陣將i-vector插入卷積層，新的卷積層結(jié)構(gòu)在提取局部信息的同時也能夠減