話者識(shí)別中失配信息補(bǔ)償理論和方法研究.pdf

1、在文本無(wú)關(guān)的話者識(shí)別中，尤其以NIST 話者測(cè)評(píng)為代表的復(fù)雜環(huán)境下電話手機(jī)語(yǔ)音的話者識(shí)別，訓(xùn)練語(yǔ)音與測(cè)試語(yǔ)音的失配是導(dǎo)致識(shí)別系統(tǒng)性能下降的重要因素。這種失配包含語(yǔ)音類(lèi)失配和外部干擾失配兩種：包括訓(xùn)練和測(cè)試文本內(nèi)容不同的影響，周?chē)h(huán)境噪聲的影響，語(yǔ)音信號(hào)采集設(shè)備（話筒）的影響，傳輸調(diào)制信道的影響等。除此之外，還有說(shuō)話人自身因素的影響，情緒變化等。如何對(duì)這些失配信息進(jìn)行準(zhǔn)確而有效的補(bǔ)償是當(dāng)前話者識(shí)別研究領(lǐng)域的熱點(diǎn)問(wèn)題。
　　 論文針

2、對(duì)復(fù)雜環(huán)境下電話手機(jī)語(yǔ)音識(shí)別系統(tǒng)的失配問(wèn)題，圍繞如何解決當(dāng)前失配方法的不足，更加有效的對(duì)上述兩種失配進(jìn)行補(bǔ)償，如何提高訓(xùn)練和測(cè)試失配補(bǔ)償?shù)乃俣?，如何將失配補(bǔ)償與區(qū)分性系統(tǒng)結(jié)合起來(lái)等方面進(jìn)行了深入的研究。
　　 論文首先深入分析了現(xiàn)有的一些失配補(bǔ)償方法的思路和算法實(shí)現(xiàn)細(xì)節(jié)。針對(duì)語(yǔ)音類(lèi)失配問(wèn)題，從訓(xùn)練和測(cè)試兩個(gè)角度詳細(xì)分析了在GMM-UBM 框架下UBM模型在話者模型訓(xùn)練和評(píng)分測(cè)試中所起到的重要的基準(zhǔn)作用，以及通過(guò)測(cè)驗(yàn)語(yǔ)音與目標(biāo)話者

3、模型和UBM模型的評(píng)分相減來(lái)解決語(yǔ)音類(lèi)失配的問(wèn)題。針對(duì)外部影響失配問(wèn)題，詳細(xì)介紹了現(xiàn)有的一些基于特征域、模型域、評(píng)分域的失配補(bǔ)償方法，并分析了這些失配補(bǔ)償方法的不足之處，主要體現(xiàn)在需要信道分類(lèi)器對(duì)語(yǔ)音進(jìn)行信道判決，只能針對(duì)孤立的信道類(lèi)別進(jìn)行補(bǔ)償，以及信道分類(lèi)器判決可能出現(xiàn)誤判，訓(xùn)練信道分類(lèi)器也需要相應(yīng)的信道標(biāo)記的語(yǔ)音。這都限制了當(dāng)前已有的一些失配補(bǔ)償方法的效果。
　　 論文針對(duì)語(yǔ)音類(lèi)和外部干擾兩類(lèi)失配問(wèn)題和現(xiàn)有失配補(bǔ)償方法存在的

4、不足之處，將因子分析方法用于估計(jì)說(shuō)話人確認(rèn)中訓(xùn)練和測(cè)試受到的失配影響，詳細(xì)分析了在基于因子分析的失配補(bǔ)償方法中，如何構(gòu)建失配信息空間和話者信息空間，并通過(guò)這兩個(gè)信息空間估計(jì)語(yǔ)音所受到的失配影響大?。▽?duì)應(yīng)為失配因子），其失配補(bǔ)償是按照實(shí)際的失配影響大小而不是通道類(lèi)別進(jìn)行補(bǔ)償，無(wú)需利用信道模型判決語(yǔ)音的信道種類(lèi)，避免信道種類(lèi)判決錯(cuò)誤的影響。故其連續(xù)相對(duì)的補(bǔ)償效果要優(yōu)于傳統(tǒng)的失配補(bǔ)償方法。在NIST SRE 2008測(cè)評(píng)中我們將本方法應(yīng)用于長(zhǎng)

5、語(yǔ)音任務(wù)中，在50多家國(guó)際參賽機(jī)構(gòu)中排名第一。論文還利用話者信息空間解決短語(yǔ)音利用MAP 方法據(jù)估計(jì)話者模型的不足問(wèn)題，實(shí)驗(yàn)結(jié)果效果明顯，相對(duì)提高17％ 左右。
　　 為了提高語(yǔ)音在失配補(bǔ)償時(shí)的速度，論文提出了一種基于CUBM 選擇模型和因子分析的快速失配補(bǔ)償方法。CUBM 由UBM 高斯分量通過(guò)KL 距離準(zhǔn)則和自底向上的分層聚類(lèi)得到的高斯混合模型。在失配補(bǔ)償時(shí)，利用CUBM 選擇模型為每幀語(yǔ)音特征矢量選擇一組相應(yīng)的UBM 高斯

6、分量，只用這些高斯分量計(jì)算相應(yīng)的EM 統(tǒng)計(jì)量，可以顯著降低失配補(bǔ)償?shù)挠?jì)算量。論文還提出了一種基于Top-N的選擇策略，以提高UBM 高斯分量的選擇精度，平衡系統(tǒng)性能和失配補(bǔ)償計(jì)算量之間的矛盾。在NIST SRE 2006 主任務(wù)上的實(shí)驗(yàn)表明，基于CUBM 選擇模型的快速失配補(bǔ)償方法在取得和原始失配補(bǔ)償方法相近的系統(tǒng)性能的同時(shí)，計(jì)算量降為原來(lái)的八分之一左右，解決了失配補(bǔ)償方法應(yīng)用中的計(jì)算量問(wèn)題。
　　 論文提出將失配補(bǔ)償和SVM

7、區(qū)分性話者識(shí)別系統(tǒng)結(jié)合起來(lái)的一種方法。
　　 當(dāng)SVM 輸入是GMM 均值超矢量時(shí)，SVM的訓(xùn)練樣本（目標(biāo)和冒認(rèn)話者的GMM 均值超矢量）在模型域進(jìn)行補(bǔ)償，測(cè)試時(shí)，測(cè)試語(yǔ)音也同樣提取相應(yīng)的GMM 均值超矢量，在模型域補(bǔ)償后與SVM 話者模型測(cè)試。在NIST SRE 2008核心任務(wù)的實(shí)驗(yàn)表明，失配補(bǔ)償后的SVM系統(tǒng)性能比補(bǔ)償后的GMM系統(tǒng)性能有7％ 左右的提高，比補(bǔ)償前的SVM系統(tǒng)性能相對(duì)提高24％。實(shí)驗(yàn)結(jié)果充分說(shuō)明了失配補(bǔ)償方