漢語(yǔ)普通話發(fā)音質(zhì)量自動(dòng)評(píng)測(cè)方法研究.pdf

1、發(fā)音質(zhì)量自動(dòng)評(píng)測(cè)（以下簡(jiǎn)稱“評(píng)測(cè)”）是計(jì)算機(jī)輔助語(yǔ)言學(xué)習(xí)及口語(yǔ)考試中的核心技術(shù)問(wèn)題，其研究成果對(duì)提高學(xué)習(xí)者學(xué)習(xí)的靈活性和滿意度，減少人工閱卷的主觀性和不穩(wěn)定性，降低投入成本，提高實(shí)效性，具有重要的理論意義和科學(xué)價(jià)值，應(yīng)用前景廣闊。隨著國(guó)內(nèi)普通話的大力推廣和普及，以及國(guó)外漢語(yǔ)學(xué)習(xí)熱潮的快速興起，針對(duì)漢語(yǔ)普通話的評(píng)測(cè)技術(shù)實(shí)際需求強(qiáng)勁，且更具特色和挑戰(zhàn)性，有必要深入系統(tǒng)地研究。
　　漢語(yǔ)是一種單音節(jié)聲調(diào)語(yǔ)言，每個(gè)音節(jié)包括聲母、韻母和聲調(diào)

2、三部分，音節(jié)間界限較分明，有鮮明的輕重音和兒化音。漢語(yǔ)音節(jié)的三元結(jié)構(gòu)及音韻特點(diǎn)與英語(yǔ)語(yǔ)音差異較大，需要結(jié)合漢語(yǔ)特點(diǎn)，在表征、建模和計(jì)算等方面進(jìn)行針對(duì)性研究和創(chuàng)造性方法改進(jìn)。此外，現(xiàn)有主流評(píng)測(cè)方法在基本發(fā)音單元（聲韻母、聲調(diào)等）評(píng)測(cè)上的準(zhǔn)確性還不夠理想，無(wú)法滿足精細(xì)評(píng)測(cè)任務(wù)和較高水平說(shuō)話人評(píng)測(cè)任務(wù)的實(shí)際需求，需要在聲學(xué)建模和置信度計(jì)算等方面進(jìn)行改進(jìn)，以提高聲學(xué)模型的精度和評(píng)測(cè)模型的準(zhǔn)確度。
　　本文重點(diǎn)研究母語(yǔ)人群的漢語(yǔ)普通話評(píng)測(cè)方

3、法。在聲韻母評(píng)測(cè)方面，針對(duì)當(dāng)前主流的發(fā)音良好度（Goodness of pronunciation，GOP）算法存在的切分不準(zhǔn)、計(jì)算精度低、模型間區(qū)分性差等問(wèn)題，提出一種基于音素混淆概率矩陣的評(píng)測(cè)方法。該方法通過(guò)計(jì)算音素混淆概率矩陣來(lái)構(gòu)建每個(gè)音素的混淆音素集合，一方面利用混淆音素集合建立音素混淆限制識(shí)別網(wǎng)絡(luò)，提高音素段切分的準(zhǔn)確性；另一方面，引入音素混淆先驗(yàn)概率，把混淆音素集合作為后驗(yàn)概率的計(jì)算空間，提高計(jì)算精度和模型間的區(qū)分性。為擴(kuò)大

4、發(fā)音的評(píng)測(cè)范圍，提高聲學(xué)模型的覆蓋范圍，提出一種基于擴(kuò)展發(fā)音空間的評(píng)測(cè)方法。該方法利用錯(cuò)誤發(fā)音樣本數(shù)據(jù)，擴(kuò)展標(biāo)準(zhǔn)發(fā)音空間，對(duì)標(biāo)準(zhǔn)發(fā)音的各類發(fā)音錯(cuò)誤進(jìn)行精細(xì)建模，并在這個(gè)擴(kuò)展后的發(fā)音空間內(nèi)進(jìn)行后驗(yàn)概率計(jì)算，計(jì)算更加準(zhǔn)確和有效。同時(shí)，針對(duì)包含錯(cuò)誤發(fā)音的數(shù)據(jù)獲取容易，但標(biāo)注困難，且工作量巨大的問(wèn)題，設(shè)計(jì)對(duì)錯(cuò)誤發(fā)音樣本聚類的非監(jiān)督學(xué)習(xí)方法，以及發(fā)音模型的自動(dòng)更新方法，來(lái)持續(xù)提高評(píng)測(cè)模型的準(zhǔn)確性。鑒于上述方法都是單維置信度計(jì)算加閾值判斷還不夠魯棒

5、，提出一種基于系統(tǒng)融合的多維置信度的評(píng)測(cè)方法。該方法依次計(jì)算待評(píng)測(cè)語(yǔ)音段相對(duì)于其對(duì)應(yīng)音素的混淆音素集合中所有音素的后驗(yàn)概率和錯(cuò)誤音素集合中所有音素的后驗(yàn)概率，并把它們組合起來(lái)，形成一個(gè)多維置信度向量，作為一種新的評(píng)測(cè)特征，為各個(gè)音素分別訓(xùn)練出不同發(fā)音質(zhì)量的分類器，實(shí)現(xiàn)對(duì)聲韻母發(fā)音質(zhì)量的再評(píng)測(cè)，人機(jī)相關(guān)系數(shù)達(dá)到0.893，超過(guò)了人工評(píng)測(cè)的平均水平。
　　在聲調(diào)評(píng)測(cè)方面，針對(duì)聲調(diào)相關(guān)基頻特征的有效獲取和多層次利用，提出一種基于系統(tǒng)融合

6、的多維置信度的聲調(diào)評(píng)測(cè)方法。在語(yǔ)音幀層級(jí)上，把基頻特征及其一階、二階差分加入到39維梅爾倒譜系數(shù)中去，共42維，以聲母和帶調(diào)韻母為發(fā)音單元，采用嵌入式訓(xùn)練方式，建立嵌入式聲調(diào)模型。在音節(jié)層級(jí)上，提取當(dāng)前音節(jié)和其前面、后面音節(jié)的基頻特征及它們的統(tǒng)計(jì)特征，共12維，選擇高斯混合模型（Gaussian Mixture Model，GMM）做分類器，建立顯式聲調(diào)模型。把利用嵌入式聲調(diào)模型計(jì)算出的5種聲調(diào)的后驗(yàn)概率和利用顯式聲調(diào)模型計(jì)算出的5種聲

7、調(diào)的后驗(yàn)概率組合起來(lái)，形成一個(gè)10維的多維置信度向量，作為一種新的評(píng)測(cè)特征，為各個(gè)聲調(diào)分別訓(xùn)練出不同發(fā)音質(zhì)量的分類器，實(shí)現(xiàn)對(duì)聲調(diào)發(fā)音質(zhì)量的再評(píng)測(cè)。實(shí)驗(yàn)結(jié)果表明，上述方法有效融合兩種建模方式的互補(bǔ)性，同時(shí)利用長(zhǎng)時(shí)語(yǔ)段和短時(shí)語(yǔ)段的特征信息，且不需要考慮閾值選取，具有更好的魯棒性和適應(yīng)性，有效提高了聲調(diào)評(píng)測(cè)方法的準(zhǔn)確性，人機(jī)相關(guān)系數(shù)達(dá)到0.899，超過(guò)了人工評(píng)測(cè)的平均水平。
　　在漢語(yǔ)兒化音評(píng)測(cè)方面，針對(duì)國(guó)家普通話水平測(cè)試中對(duì)兒化音的考

8、評(píng)要求，提出一種基于分類思想的兒化音評(píng)測(cè)方法。深入分析兒化音的發(fā)音規(guī)律和特色，提取共振峰、發(fā)音置信度、時(shí)長(zhǎng)等代表性特征，采用集成學(xué)習(xí)方式，改進(jìn)傳統(tǒng)的AdaBoost算法，每次迭代時(shí)，同一基分類器會(huì)根據(jù)不同分類類別分別更新權(quán)值，在權(quán)值計(jì)算時(shí)增加一個(gè)與類別先驗(yàn)概率和類別數(shù)目相關(guān)的正數(shù)項(xiàng)，大大降低算法對(duì)基分類器的精度要求，并特別適合數(shù)據(jù)分布不平衡的多類分類問(wèn)題，實(shí)現(xiàn)對(duì)兒化音的發(fā)音質(zhì)量狀況進(jìn)行有效分類，分類效果明顯優(yōu)于傳統(tǒng)的AdaBoost集成