普通話自由表述口語評測關(guān)鍵技術(shù)的研究.pdf

1、口語評測是一種學(xué)生按照某種要求發(fā)音，計(jì)算機(jī)根據(jù)學(xué)生發(fā)音的標(biāo)準(zhǔn)程度來自動(dòng)評分的技術(shù)。傳統(tǒng)的文本相關(guān)評測任務(wù)要求學(xué)生嚴(yán)格依照指定的文本發(fā)音，對應(yīng)朗讀或者嚴(yán)格背誦的情境，通常采用幀規(guī)整對數(shù)后驗(yàn)概率作為衡量發(fā)音標(biāo)準(zhǔn)程度最主要的特征，該特征與人工分具有較高的相關(guān)度，此技術(shù)也已經(jīng)有了廣泛而成功的應(yīng)用。但在文本無關(guān)情境下，比如要求考生在給定主題約束下，針對該主題進(jìn)行一段自由表述，通過衡量發(fā)音的標(biāo)準(zhǔn)程度和詞匯語法使用規(guī)范程度來評分，這種任務(wù)無論國內(nèi)還是

2、國際上都鮮有研究;本文嘗試對此展開初步的研究工作。具體的，是針對國內(nèi)普通話水平測試(Putonghua Shuiping Ceshi，PSC)的第4題進(jìn)行自動(dòng)評分的研究。該題要求考生在3分鐘內(nèi)進(jìn)行一段給定主題的自由表述，與本文的研究非常契合。本文的主要研究工作概述如下:
　　首先，本文探究了如何采用識(shí)別的方法，對文本無關(guān)口語評測計(jì)算類似于文本相關(guān)任務(wù)中常用的后驗(yàn)概率特征，以此來評估發(fā)音的標(biāo)準(zhǔn)程度。具體的，利用DNN-HMM的語音識(shí)

3、別模型對考生表述的語音做識(shí)別，再在此框架下計(jì)算解碼中的每個(gè)音素相對于發(fā)音矢量的后驗(yàn)概率，并針對PSC考試第4題的具體情境進(jìn)行了改進(jìn)。實(shí)驗(yàn)表明，該后驗(yàn)概率與人工分具有較高的相關(guān)度。
　　其次，由于本論文后驗(yàn)概率特征計(jì)算的過程非常依賴于識(shí)別的性能，為了提升識(shí)別器的準(zhǔn)確率，采用遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)語言模型來對一遍解碼出的N-best候選做語言模型得分重估計(jì)(Rescoring)，選取

4、Rescoring后得分最大的候選句子作為新的識(shí)別結(jié)果;實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，這樣修正后無論是識(shí)別率還是后驗(yàn)概率特征與人工分的相關(guān)度，都有一定的提升。
　　再者，為了衡量考生表述語音中的方言口音程度，本論文借鑒多語種-神經(jīng)網(wǎng)絡(luò)(Multi-lingual Neural Network)的方法，在解碼神經(jīng)網(wǎng)絡(luò)的輸出引入額外的方言數(shù)據(jù)狀態(tài)節(jié)點(diǎn)，獲得每一幀數(shù)據(jù)相對于方言數(shù)據(jù)模型的似然度得分，從而在后驗(yàn)概率計(jì)算公式的分母上引入方言得分，初步估計(jì)發(fā)

5、音的方言程度。
　　然后，為了關(guān)注表述的流暢程度，本論文采用每句話的音素平均發(fā)音幀數(shù)來計(jì)算語速特征，以此初步估計(jì)流暢程度。另外，嘗試使用條件隨機(jī)場(ConditionalRandom Field，CRF)訓(xùn)練分句模型，從內(nèi)容上對識(shí)別結(jié)果進(jìn)行句子邊界判斷。實(shí)驗(yàn)表明，重新分句后計(jì)算的語速特征與人工分具有更高的相關(guān)度。
　　最后，使用矢量空間模型(Vector Space Model，VSM)對識(shí)別結(jié)果建模，從內(nèi)容上評估表述的詞匯