發(fā)音質(zhì)量自動(dòng)評(píng)測(cè)技術(shù)研究.pdf

1、發(fā)音質(zhì)量的自動(dòng)評(píng)測(cè)（以下簡(jiǎn)稱“評(píng)測(cè)”）是一種學(xué)生按照指定文本發(fā)音，計(jì)算機(jī)根據(jù)發(fā)音質(zhì)量反饋出分?jǐn)?shù)的技術(shù)。它的目標(biāo)是賦予計(jì)算機(jī)擔(dān)任虛擬教師的能力，對(duì)學(xué)生的發(fā)音質(zhì)量進(jìn)行公正、客觀、高效的評(píng)測(cè)，緩解專業(yè)口語(yǔ)教師嚴(yán)重稀缺的問題。在學(xué)習(xí)上，它能幫助學(xué)生更好的了解發(fā)音水平，提高口語(yǔ)學(xué)習(xí)效率和促進(jìn)自學(xué)的進(jìn)行；在考試上，它能輔助或者代替人工進(jìn)行口語(yǔ)考試的閱卷，大幅提升閱卷效率及質(zhì)量。因此，評(píng)測(cè)技術(shù)日益成為語(yǔ)音信號(hào)處理和現(xiàn)代教育的研究熱點(diǎn)。在評(píng)測(cè)技術(shù)的研究

2、中，幀規(guī)整對(duì)數(shù)后驗(yàn)概率（以下簡(jiǎn)稱“后驗(yàn)概率”）是目前公認(rèn)的最能反映發(fā)音質(zhì)量的量化的測(cè)度。然而，本文對(duì)后驗(yàn)概率測(cè)度進(jìn)行了全面的分析，指出其存在著如下兩個(gè)重大缺陷：
　　 第一、不同音素的后驗(yàn)概率測(cè)度不能一致的描述音素的發(fā)音質(zhì)量；
　　 第二、聲學(xué)模型是后驗(yàn)概率計(jì)算的重要依據(jù)，而目前人們使用的語(yǔ)音識(shí)別的聲學(xué)建模方式難以滿足評(píng)測(cè)的要求。本文工作圍繞上述兩個(gè)問題展開，在評(píng)分特征提取、評(píng)測(cè)聲學(xué)建模兩方面均有創(chuàng)新。本文主要研究工作和

3、成果概述如下：
　　 首先，本文提出了可訓(xùn)練的音素相關(guān)的后驗(yàn)概率變換算法。本文證明了即使在擁有無(wú)窮數(shù)據(jù)的情況下，受到概率空間的影響，不同音素的后驗(yàn)概率測(cè)度仍然不能一致的描述音素發(fā)音質(zhì)量。為彌補(bǔ)上述缺陷，本文提出了音素相關(guān)的后驗(yàn)概率變換方法。音素相關(guān)的變換根據(jù)最小化機(jī)器分與人工分均方誤差準(zhǔn)則訓(xùn)練得到，在測(cè)試時(shí)，通過對(duì)不同的音素的后驗(yàn)概率測(cè)度進(jìn)行相應(yīng)的變換，可使得變換后的測(cè)度能更一致的描述音素的發(fā)音質(zhì)量。本文研究了線性變換和非線性s

4、igmoid變換，推導(dǎo)并給出線性變換的顯式全局最優(yōu)解（線性回歸），和非線性sigmoid變換的梯度下降優(yōu)化算法。實(shí)驗(yàn)表明兩類變換均能帶來(lái)顯著的評(píng)測(cè)性能改善。
　　 然后，本文提出了全新的面向評(píng)測(cè)任務(wù)的聲學(xué)建模算法。聲學(xué)模型是后驗(yàn)概率的重要依據(jù)，而評(píng)測(cè)技術(shù)的研究源于語(yǔ)音識(shí)別，因此至今人們?nèi)圆捎谜Z(yǔ)音識(shí)別的建模方法，所得到的仍是“語(yǔ)音識(shí)別聲學(xué)模型”。而該方法忽略了評(píng)測(cè)任務(wù)的特點(diǎn)，存在難以避免的訓(xùn)練和測(cè)試不匹配的問題：若引入非標(biāo)準(zhǔn)發(fā)音參

5、與聲學(xué)模型訓(xùn)練，會(huì)導(dǎo)致聲學(xué)模型“包容”非標(biāo)準(zhǔn)發(fā)音，嚴(yán)重影響系統(tǒng)性能；若僅采用標(biāo)準(zhǔn)發(fā)音進(jìn)行聲學(xué)模型訓(xùn)練，所得到的標(biāo)準(zhǔn)聲學(xué)模型（通常稱為Golden聲學(xué)模型）與測(cè)試的非標(biāo)準(zhǔn)發(fā)音不匹配，難以精確描述實(shí)際測(cè)試中的方言發(fā)音的發(fā)音質(zhì)量。因此，本文提出了全新的針對(duì)發(fā)音質(zhì)量評(píng)測(cè)的聲學(xué)模型訓(xùn)練算法。算法根據(jù)最小化訓(xùn)練集機(jī)器分與人工分均方誤差準(zhǔn)則（MMSE準(zhǔn)則），利用覆蓋各種發(fā)音質(zhì)量的數(shù)據(jù)訓(xùn)練得到“評(píng)測(cè)聲學(xué)模型”，能有效的彌補(bǔ)語(yǔ)音識(shí)別聲學(xué)模型的缺陷。同時(shí)，

6、該算法根據(jù)評(píng)測(cè)常用的后驗(yàn)概率設(shè)計(jì)，因此可以與音素相關(guān)后驗(yàn)概率變換、優(yōu)化的概率空間等策略無(wú)縫的融合。實(shí)驗(yàn)表明，無(wú)論在全概率空間、優(yōu)化概率空間還是音素相關(guān)的后驗(yàn)概率變換的配置下，相比語(yǔ)音識(shí)別聲學(xué)模型，評(píng)測(cè)聲學(xué)模型均有著顯著的優(yōu)勢(shì)。本章研究證實(shí)了在評(píng)測(cè)任務(wù)中引入各種發(fā)音質(zhì)量的數(shù)據(jù)，并在人工分的指導(dǎo)下訓(xùn)練聲學(xué)模型的必要性。
　　 接下來(lái)，本文提出基于評(píng)測(cè)性映射變換(EMT)的無(wú)監(jiān)督聲學(xué)模型自適應(yīng)算法。本文對(duì)評(píng)測(cè)聲學(xué)模型性質(zhì)進(jìn)行了深入分析

7、，并指出由于最大似然估(MLE)計(jì)及最大后驗(yàn)概率(MAP)準(zhǔn)則與MMSE準(zhǔn)則不一致，導(dǎo)致難以直接對(duì)評(píng)測(cè)聲學(xué)模型進(jìn)行有效的無(wú)監(jiān)督自適應(yīng)。因此，本文放棄了直接訓(xùn)練評(píng)測(cè)聲學(xué)模型的思路，提出一種全新的基于EMT間接的評(píng)測(cè)聲學(xué)建模方法。類似的，EMT仍然是利用各種發(fā)音質(zhì)量的數(shù)據(jù)，根據(jù)MMSE準(zhǔn)則訓(xùn)練得到，因此EMT具有與評(píng)測(cè)任務(wù)緊密相聯(lián)的性質(zhì)（即“評(píng)測(cè)性”）。在測(cè)試時(shí)，首先通過少量當(dāng)前說話人數(shù)據(jù)，利用MLE/MAP準(zhǔn)則進(jìn)行聲學(xué)模型自適應(yīng)，在此基礎(chǔ)

8、上應(yīng)用EMT，可將這種“評(píng)測(cè)性”映射至聲學(xué)模型上，得到說話人相關(guān)的評(píng)測(cè)聲學(xué)模型。該方法能有效的將無(wú)監(jiān)督自適應(yīng)中MLE/MAP自適應(yīng)準(zhǔn)則和聲學(xué)模型訓(xùn)練中針對(duì)評(píng)測(cè)建模的各自優(yōu)勢(shì)完美的結(jié)合。實(shí)驗(yàn)證實(shí)了在不做自適應(yīng)的系統(tǒng)中，利用EMT的間接建模方法能在一定程度上取代直接訓(xùn)練評(píng)測(cè)聲學(xué)模型的方法；在做自適應(yīng)的系統(tǒng)中，系統(tǒng)性能得到進(jìn)一步提升。
　　 最后，本文對(duì)EMT訓(xùn)練算法進(jìn)行了完善，將具體評(píng)測(cè)系統(tǒng)融入EMT的訓(xùn)練中，并提出EMT訓(xùn)練統(tǒng)一框

9、架。研究表明EMT訓(xùn)練所依賴的人工分還包含了與后驗(yàn)概率測(cè)度無(wú)關(guān)的發(fā)音流暢度、完整度的評(píng)測(cè)；另一方面，評(píng)測(cè)系統(tǒng)種類繁多，MMSE的難以滿足多數(shù)評(píng)測(cè)任務(wù)的要求。為解決上述問題，本文提出將具體的評(píng)測(cè)系統(tǒng)融入EMT的訓(xùn)練的方法。在推導(dǎo)過程中，本文發(fā)現(xiàn)不同的評(píng)測(cè)系統(tǒng)的個(gè)性，即評(píng)分目標(biāo)、評(píng)分特征、評(píng)分算法等，僅影響“音素斜率”的計(jì)算，因此，在得到訓(xùn)練集中所有音素的斜率后，我們可采用統(tǒng)一的方法完成EMT的訓(xùn)練。本文將其命名為EMT訓(xùn)練統(tǒng)一框架。EMT