基于區(qū)分性原理的漢語語音識別中聲調(diào)問題的研究.pdf

1、漢語是一種帶調(diào)語言，聲調(diào)在漢語語音中具有非常重要的意義。相同的聲母和韻母構(gòu)成的音節(jié)隨聲調(diào)的不同而具有完全不同的意義，對應(yīng)著不同的方塊字。特別是當(dāng)語言模型上下文缺失的情況下，聲調(diào)在漢語普通話中承擔(dān)著重要的構(gòu)字辨義的作用。因此，將聲調(diào)信息應(yīng)用于漢語普通話的語音識別系統(tǒng)當(dāng)中，將會有效地提高識別系統(tǒng)的性能。近年來，基于區(qū)分性原理的機器學(xué)習(xí)方法已成為模式識別特別是自動語音識別研究領(lǐng)域的熱門研究方向之一。利用區(qū)分性原理在模型訓(xùn)練以及特征優(yōu)化方面提出

2、的一些方法，在小規(guī)模的分類任務(wù)以及大詞匯連續(xù)語音識別系統(tǒng)中都顯示了優(yōu)越的性能。本文以漢語普通話大詞匯連續(xù)語音識別系統(tǒng)為應(yīng)用背景，旨在根據(jù)漢語聲調(diào)發(fā)音的特點，從區(qū)分性原理的角度來討論漢語語音的聲調(diào)建模以及聲學(xué)建模中的聲調(diào)信息利用問題?；仡櫫苏Z音識別技術(shù)的發(fā)展歷史，介紹了聲調(diào)在漢語語音識別中的作用，系統(tǒng)性描述了區(qū)分性訓(xùn)練準則以及應(yīng)用比較成功的區(qū)分性模型與方法，并由此提出了不同模型下改進聲調(diào)識別性能以及利用聲調(diào)信息改進聲學(xué)建模性能的區(qū)分性方法

3、，為漢語語音識別中聲調(diào)問題的解決提供了新的研究思路。這些方法可概括如下。 ⑴從區(qū)分性訓(xùn)練的角度研究了基于隱馬爾可夫模型的聲調(diào)建模方法。為了提高漢語聲調(diào)識別率，從模型空間中利用區(qū)分性訓(xùn)練的參數(shù)更新方法對模型參數(shù)進行重估。在漢語普通話中，由于協(xié)同發(fā)音的存在，連續(xù)語音的聲調(diào)識別較孤立語音聲調(diào)識別復(fù)雜。聲調(diào)協(xié)同發(fā)音體現(xiàn)為對當(dāng)前音節(jié)的聲調(diào)感知高度依賴于上下文聲調(diào)?；谏鲜鲈?，在特征空間的區(qū)分性訓(xùn)練方面，提出區(qū)分性聲調(diào)特征提取方法。該方法

4、根據(jù)區(qū)分性線性特征補償?shù)乃枷?，根?jù)區(qū)分性目標函數(shù)訓(xùn)練得到的線性變換，將上下文基音頻率進行映射并補償至當(dāng)前音節(jié)基音頻率特征。實驗表明區(qū)分性聲調(diào)特征提取顯著提高了聲調(diào)識別率，聲調(diào)特征提取基礎(chǔ)上的模型參數(shù)聯(lián)合訓(xùn)練進一步提高了聲調(diào)識別的性能。并從識別率以及特征變換參數(shù)的角度進行分析，說明特征提取方法與傳統(tǒng)聲調(diào)特征歸一化的本質(zhì)不同。 ⑵條件隨機場(CRFs)是近年來在自然語言處理領(lǐng)域使用的成功的數(shù)學(xué)模型。論文采用條件隨機場的一種擴展-隱條

5、件隨機場對漢語語音聲調(diào)進行顯式建模，提出一種對傳統(tǒng)動態(tài)特征的擴展-廣義動態(tài)特征來更好地捕捉基音頻率曲線的動態(tài)變化。聲調(diào)識別實驗表明采用相同的特征和結(jié)構(gòu)，隱條件隨機場較最大似然訓(xùn)練的隱馬爾可夫模型聲調(diào)識別率有顯著提高，加入廣義動態(tài)特征之后聲調(diào)識別率有一致性改進。隱條件隨機場區(qū)別于HMM的重要特性在于無須對特征采用統(tǒng)一的利用方式，這使得該模型非常適合于處理漢語語音中基音頻率在濁音段連續(xù)、清音段不連續(xù)的聲學(xué)現(xiàn)象。提出了隱條件隨機場對斷續(xù)F0進

6、行直接建模的隱式聲調(diào)建模方法，帶調(diào)音節(jié)分類實驗表明在隱條件隨機場下對斷續(xù)基音頻率序列的直接建模較使用清音段平滑F(xiàn)0特征的識別率有明顯的提高，該實驗結(jié)果對利用隱條件隨機場在大詞匯連續(xù)語音識別系統(tǒng)下，聲學(xué)建模中對斷續(xù)基音頻率序列的直接建模提供初步的實驗依據(jù)。 ⑶討論了大間隔高斯混合模型的聲調(diào)建模方法，根據(jù)大間隔區(qū)分性訓(xùn)練準則對模型參數(shù)進行區(qū)分性訓(xùn)練。對于參數(shù)的更新，針對基于Quasi-Newton梯度下降方法收斂速度慢的缺點，提出一

7、種擴展BaumWelch(EBW)形式的大間隔高斯混合模型的參數(shù)更新方法，該方法借助弱輔助函數(shù)的原理對高斯參數(shù)進行優(yōu)化，實驗表明該方法與基于Quasi-Newton的梯度方法相比只需要幾次迭代就可以達到相同甚至更高的識別結(jié)果。另一方面，對于基于段特征的高斯混合模型，選取什么樣的特征能夠達到更好的識別率往往需要反復(fù)試湊得到最優(yōu)的識別結(jié)果。本文利用線性判別分析方法來對聲調(diào)特征進行降維，通過線性判別分析得到更加適合于聲調(diào)區(qū)分的段特征，聲調(diào)識別

8、實驗上表明在維數(shù)縮減特征基礎(chǔ)上的高斯混合聲調(diào)模型，較傳統(tǒng)的重疊雙音調(diào)高斯混合模型在聲調(diào)識別性能方面有明顯的提高，這表明線性判別分析獲得的特征要優(yōu)于人工選取的超音段聲調(diào)特征。 ⑷討論了一種區(qū)分性模型權(quán)重的訓(xùn)練方法，將顯式訓(xùn)練的聲調(diào)模型加入大詞匯量連續(xù)語音識別系統(tǒng)中來提高漢語連續(xù)語音識別率。該方法根據(jù)最小音子錯誤(MPE)準則，區(qū)分性地訓(xùn)練模型相關(guān)的概率權(quán)重。利用這些權(quán)重對傳統(tǒng)基于傳統(tǒng)譜特征的HMM模型概率以及聲調(diào)模型概率進行加權(quán)，

9、通過調(diào)整模型之間的作用程度提高系統(tǒng)識別率。推導(dǎo)了利用擴展Baum-Welch算法的權(quán)重更新公式。根據(jù)漢語上下文相關(guān)聲學(xué)建模的特點，由此提出了帶調(diào)音節(jié)相關(guān)、韻母模型相關(guān)，模型組合相關(guān)和整詞相關(guān)的模型權(quán)重策略。對不同模型權(quán)重組合策略進行了評估。在實驗中，由于訓(xùn)練語料的有限性，各種權(quán)重策略隨著可訓(xùn)練參數(shù)增多，容易受到過訓(xùn)練的影響。具體表現(xiàn)在：對訓(xùn)練數(shù)據(jù)目標函數(shù)增大，但是測試數(shù)據(jù)識別率反而下降。提出利用權(quán)重之間的平滑的方法來克服權(quán)重訓(xùn)練過擬合的