高效簡(jiǎn)約的語(yǔ)音識(shí)別聲學(xué)模型.pdf

1、當(dāng)前連續(xù)密度HMM模型的語(yǔ)音識(shí)別系統(tǒng)性能良好，但其存儲(chǔ)和計(jì)算需求過(guò)大。針對(duì)這一問(wèn)題，本論文專(zhuān)注于語(yǔ)音識(shí)別系統(tǒng)的核心—聲學(xué)模型。本文分別從訓(xùn)練方法、特征降維、模型參數(shù)壓縮三個(gè)方面研究如何獲得高效小巧的聲學(xué)模型，在保證模型精度的前提下使用盡小可能的參數(shù)量，降低系統(tǒng)資源需求。基于已有的方法，我們提出及推廣了一系列新方法，以實(shí)驗(yàn)證明了它們的有效性。這些方法主要集中在以下幾個(gè)方面。 首先，本文研究了最小分類(lèi)錯(cuò)誤方法，實(shí)現(xiàn)了基于N-best

2、解碼的訓(xùn)練方法。實(shí)驗(yàn)證實(shí)，在保證模型精度的前提下，經(jīng)MCE訓(xùn)練的模型可顯著減小。我們并將其推廣到子空間分布聚類(lèi)HMM模型上，在很大程度上彌補(bǔ)了在將CDHMM轉(zhuǎn)換成SDCHMM的過(guò)程中由于特征空間分裂和子空間分布聚類(lèi)帶來(lái)的性能降低。與直接由CDHMM轉(zhuǎn)換而成的SDCHMM相比，性能提升15-80％。 其次，為了解決特征降維方法通常也降低識(shí)別性能的問(wèn)題，我們提出了在區(qū)分性特征提取框架下按照最小分類(lèi)錯(cuò)誤準(zhǔn)則調(diào)整模型參數(shù)和特征降維變換的

3、方法，效果極為明顯。更進(jìn)一步，我們提出了以LDA變換執(zhí)行的集去相關(guān)與降維于一體的新的特征提取方法，并將該方法同樣納入?yún)^(qū)分性特征提取框架之中。利用該方法，14維特征獲得了與39維MFCC同樣的性能，顯著降低了計(jì)算和存儲(chǔ)的需求。 再次，針對(duì)聲學(xué)模型中各個(gè)狀態(tài)對(duì)系統(tǒng)性能的貢獻(xiàn)不同，提出了以貪心算法實(shí)現(xiàn)的基于似然度、Kullback-Leibler散度和狀態(tài)間分散度的HMM模型各狀態(tài)高斯分布數(shù)的確定方法。在總高斯分布數(shù)目給定前提下，分別

4、最大化訓(xùn)練數(shù)據(jù)的似然度，最小化當(dāng)前模型與“真正”模型之間的距離和最大化模型各狀態(tài)間之分散度。其中基于狀態(tài)間分散度的方法融入了狀態(tài)間的競(jìng)爭(zhēng)信息，具有區(qū)分性的特性。實(shí)驗(yàn)結(jié)果表明這幾種方法相較基于貝葉斯信息準(zhǔn)則的方法性能更佳。在相同模型精度的前提下，都可不同程度地減少參數(shù)。 最后，本文對(duì)聲學(xué)模型特征級(jí)參數(shù)聚類(lèi)進(jìn)行了研究。在進(jìn)行特征級(jí)參數(shù)聚類(lèi)時(shí)我們提出采用具有信息熵意義的KLD作LBG聚類(lèi)，聚類(lèi)性能良好。而基于不同維的特征區(qū)分性信息多寡

5、的不同，我們分別提出了各標(biāo)量維高斯核的基于KLD和似然度的非均一分配法。在總高斯核數(shù)不變?cè)瓌t下，利用貪心算法在不同維之間進(jìn)行高斯核的優(yōu)化分配來(lái)最小化壓縮模型與原始模型間的KLD和最大化訓(xùn)練數(shù)據(jù)的似然度。這兩種非均一分配方法比均一分配性能更佳。而基于似然度的方法又優(yōu)于基于KLD的方法。這些方法在保證模型性能基本不降的同時(shí)將模型參數(shù)壓縮到原來(lái)的15％左右。此時(shí)加減需求為原來(lái)的50％左右，而乘除的需求則可大幅減少為1％以內(nèi)。對(duì)于孤立詞任務(wù)，相