基于統(tǒng)計(jì)模式識(shí)別的發(fā)音錯(cuò)誤檢測(cè)研究.pdf

1、隨著語(yǔ)音識(shí)別技術(shù)的進(jìn)展，計(jì)算機(jī)輔助語(yǔ)言學(xué)習(xí)系統(tǒng)的日趨智能化。為了提升計(jì)算機(jī)輔助語(yǔ)言學(xué)習(xí)系統(tǒng)的性能，其中一項(xiàng)核心技術(shù)就是高性能的發(fā)音錯(cuò)誤檢測(cè)技術(shù)?；诎l(fā)音錯(cuò)誤檢測(cè)技術(shù)，系統(tǒng)可以生成針對(duì)性的改進(jìn)意見(jiàn)以及設(shè)計(jì)相應(yīng)的訓(xùn)練語(yǔ)料來(lái)有效改進(jìn)學(xué)習(xí)者的發(fā)音弱點(diǎn)，提高學(xué)習(xí)效率。本文在統(tǒng)計(jì)模式識(shí)別技術(shù)特別是統(tǒng)計(jì)語(yǔ)音識(shí)別技術(shù)的基礎(chǔ)上，對(duì)發(fā)音錯(cuò)誤的分布、形成及表現(xiàn)都進(jìn)行了深入而細(xì)致的分析，并在分析的基礎(chǔ)上開(kāi)展了聲學(xué)特征、聲學(xué)模型、檢錯(cuò)算法、以及聲學(xué)模型空間等方面

2、的深入研究，最終在實(shí)現(xiàn)了對(duì)發(fā)音錯(cuò)誤檢測(cè)問(wèn)題本質(zhì)的深入認(rèn)識(shí)的同時(shí)，研發(fā)成功了高性能的普通話發(fā)音錯(cuò)誤檢測(cè)技術(shù)。本論文的具體研究工作和研究成果概述如下： 首先，本論文在統(tǒng)計(jì)語(yǔ)音識(shí)別技術(shù)的基礎(chǔ)上，對(duì)自動(dòng)發(fā)音錯(cuò)誤檢測(cè)技術(shù)進(jìn)行了改進(jìn)。主要包括在聲學(xué)特征方面引入CMN、VTLN等各種技術(shù)，解決聲學(xué)模型和學(xué)習(xí)者聲學(xué)特征之間的不匹配問(wèn)題；同時(shí)，針對(duì)聲學(xué)模型建模，引入語(yǔ)音識(shí)別中的基于BIC的模型壓縮策略，首次提出并實(shí)現(xiàn)基于發(fā)音錯(cuò)誤檢測(cè)的BIC策略，

3、此策略通過(guò)為發(fā)音錯(cuò)誤嚴(yán)重或聲學(xué)模型混淆嚴(yán)重的音素分配更多的參數(shù)來(lái)獲得更好的建模精度從而提升檢錯(cuò)系統(tǒng)性能；然后，針對(duì)聲學(xué)模型與學(xué)習(xí)者的不匹配問(wèn)題，引入語(yǔ)音識(shí)別領(lǐng)域中的較為成熟的自適應(yīng)技術(shù)——MLLR——對(duì)模型均值進(jìn)行了調(diào)整，大大降低了發(fā)音錯(cuò)誤檢錯(cuò)聲學(xué)模型與學(xué)習(xí)者之間的不匹配，從而提升了檢錯(cuò)系統(tǒng)的性能；接著，本文借鑒并改進(jìn)了初始的后驗(yàn)概率策略，提出基于發(fā)音錯(cuò)誤混淆列表的修正的后驗(yàn)概率策略來(lái)進(jìn)行發(fā)音錯(cuò)誤檢測(cè)；最后，本文提出按照音素設(shè)置音素獨(dú)立

4、檢錯(cuò)門限，取得了較好的檢錯(cuò)性能。 其次，本文提出以錯(cuò)誤發(fā)音先驗(yàn)概率(Text-dependent Mispronunciation Prior Probability，TMPP)作為依托，重新形式化后驗(yàn)概率的表達(dá)形式，從而無(wú)縫地把發(fā)音錯(cuò)誤先驗(yàn)概率這一信息融合到了后驗(yàn)概率的計(jì)算當(dāng)中，這就是文本相關(guān)正確發(fā)音的后驗(yàn)概率策略(Text-dependent Correct Pronunciation Posterior Probabili

5、ty,TCPP)。同時(shí)，為了解決錯(cuò)誤發(fā)音先驗(yàn)概率的0概率問(wèn)題，借鑒語(yǔ)言模型訓(xùn)練方法，對(duì)0概率事件采取平滑操作。實(shí)驗(yàn)結(jié)果表明，TCPP策略能夠達(dá)到甚至超過(guò)啟發(fā)式的運(yùn)用錯(cuò)誤發(fā)音特性的檢錯(cuò)策略，并且給出了一種利用發(fā)音錯(cuò)誤先驗(yàn)概率的普適、有效的方法，同時(shí)這種策略能夠彌補(bǔ)啟發(fā)式方法的一些天然缺陷。 因此基于TCPP的檢錯(cuò)策略是在后驗(yàn)概率框架下的一種較好的發(fā)音錯(cuò)誤解決方案。再次，本文通過(guò)調(diào)研語(yǔ)音識(shí)別中的置信度判別發(fā)現(xiàn)在置信度判別中通常有三種

6、策略，后驗(yàn)概率只是其中的一種方法。還有一大類的方法是利用語(yǔ)音識(shí)別器得到的一些屬性作為置信度判別的輸入屬性，建立分類器進(jìn)行置信度判別。近年米的說(shuō)話人識(shí)別研究表明，采用區(qū)分性的分類方法來(lái)解決檢驗(yàn)問(wèn)題是較好的策略。說(shuō)話人識(shí)別中得到廣泛運(yùn)用的SVM區(qū)分性分類方法取得了很好的效果。本文從理論上分析了發(fā)音錯(cuò)誤檢測(cè)的特性，并指出后驗(yàn)概率對(duì)于發(fā)音錯(cuò)誤檢測(cè)的局限性，提出運(yùn)用識(shí)別器輸出的針對(duì)文本與模型空間內(nèi)其它模型的似然比作為檢錯(cuò)特征，從分類的角度來(lái)看到發(fā)

7、音錯(cuò)誤檢測(cè)問(wèn)題，引入SVM進(jìn)行區(qū)分性分類器訓(xùn)練，從而有效地運(yùn)用了人工標(biāo)注數(shù)據(jù)信息以及識(shí)別器內(nèi)的細(xì)節(jié)信息，最終有效的提升了發(fā)音錯(cuò)誤檢測(cè)性能。 然后，本文從發(fā)音錯(cuò)誤檢測(cè)的角度出發(fā)，分析了以音素為單元的聲學(xué)模型對(duì)發(fā)音錯(cuò)誤檢測(cè)的不足之處：這種聲學(xué)模型僅能較好的處理某音素明確的發(fā)音錯(cuò)誤成了另一音素，而對(duì)于發(fā)音偏誤但沒(méi)有明確的錯(cuò)誤成另一個(gè)音素或者是發(fā)音缺陷這些問(wèn)題并不能很好的處理。本文指出必須要對(duì)發(fā)音錯(cuò)誤和正確的各種情況進(jìn)行針對(duì)性的建模，然

8、后利用這些模型進(jìn)行錯(cuò)誤檢測(cè)才能夠處理變化多端的發(fā)音錯(cuò)誤。本文利用大量發(fā)音者實(shí)際數(shù)據(jù)(包括發(fā)音標(biāo)準(zhǔn)正確，發(fā)音有方言口音，發(fā)音口音嚴(yán)重等各種情況)通過(guò)無(wú)監(jiān)督的方法進(jìn)行數(shù)據(jù)聚類獲得各種發(fā)音的數(shù)據(jù)，然后進(jìn)行模型訓(xùn)練建立三套發(fā)音模型，分別針對(duì)發(fā)音標(biāo)準(zhǔn)正確，發(fā)音正常稍有口音，和發(fā)音口音嚴(yán)重這幾種情況，然后利用上面提及的SVM分類方法進(jìn)行發(fā)音錯(cuò)誤檢測(cè)，與傳統(tǒng)的僅使用音素模型相比，實(shí)現(xiàn)了發(fā)音錯(cuò)誤檢測(cè)性能的顯著提升。 最后，本文針對(duì)調(diào)型進(jìn)行了較深