無標(biāo)注的中文長(zhǎng)篇幅語音文語對(duì)齊的研究.pdf

1、文語對(duì)齊(Text-Speech Alignment)是以語音識(shí)別系統(tǒng)為基礎(chǔ),對(duì)語音和文本在時(shí)間上進(jìn)行強(qiáng)制對(duì)齊的過程。近年來,隨著互聯(lián)網(wǎng)的高速發(fā)展,網(wǎng)絡(luò)上的語音和文本資源也越來越多,將該部分語音和文本在時(shí)間上進(jìn)行對(duì)齊是利用該資源的關(guān)鍵,因此文語對(duì)齊問題引起了越來越多研究人員的興趣。文語對(duì)齊技術(shù)是語音識(shí)別領(lǐng)域中的一項(xiàng)關(guān)鍵技術(shù)。傳統(tǒng)的方法是首先利用語音識(shí)別器對(duì)原始的語音進(jìn)行識(shí)別,以得到包含時(shí)間信息的識(shí)別文本,并將該文本與原始文本進(jìn)行對(duì)齊,以

2、得到兩者共同的部分。也就是將文本和語音對(duì)齊的問題轉(zhuǎn)換成文本與文本的對(duì)齊問題。經(jīng)過對(duì)齊后的語音和文本數(shù)據(jù)可用于聲學(xué)模型的訓(xùn)練、語音的評(píng)價(jià)、自動(dòng)構(gòu)建語料庫、多媒體檢索等領(lǐng)域。為了提高文語對(duì)齊的準(zhǔn)確率和魯棒性,通常需要以經(jīng)過大量有標(biāo)注數(shù)據(jù)訓(xùn)練的語音識(shí)別器為基礎(chǔ)。然而,為了得到有標(biāo)注的訓(xùn)練數(shù)據(jù)往往需要耗費(fèi)大量的財(cái)力、人力和物力,同時(shí)所需要的周期也相對(duì)較長(zhǎng),成本較高。
　　本文在論述國(guó)內(nèi)外文語對(duì)齊技術(shù)發(fā)展的基礎(chǔ)上,提出了一種不依賴于有標(biāo)注數(shù)

3、據(jù)訓(xùn)練的語音識(shí)別器的文語對(duì)齊算法。利用該算法可以自動(dòng)的得到語音和文本在時(shí)間上對(duì)齊的數(shù)據(jù),并利用得到的數(shù)據(jù)訓(xùn)練了一個(gè)基于三音素的連續(xù)語音識(shí)別器,以說明該算法在實(shí)際中的應(yīng)用。首先,為了擺脫對(duì)有標(biāo)注訓(xùn)練數(shù)據(jù)的依賴,提出了一種基于開放語音識(shí)別引擎(Google Voice Recognition,GVR)和有限狀態(tài)機(jī)語言模型的文語對(duì)齊算法,利用該算法能夠自動(dòng)的得到在時(shí)間上對(duì)齊的語音和文本數(shù)據(jù),具體來說,首先是將原始的語音提交給 GVR進(jìn)行識(shí)別,

4、以得到識(shí)別的結(jié)果文件。但是由GVR返回的結(jié)果文件中并不包含時(shí)間信息,而該時(shí)間信息是進(jìn)行文語對(duì)齊的關(guān)鍵。為了得到該時(shí)間信息,接著對(duì)原始的語音和文本進(jìn)行了第二次的識(shí)別。即利用由原始的語音和文本訓(xùn)練的識(shí)別器作為聲學(xué)模型,并結(jié)合基于有限狀態(tài)機(jī)的語言模型對(duì)語音進(jìn)行了重識(shí)別,以得到所需要的時(shí)間信息,完成文本和語音的對(duì)齊。利用得到的對(duì)齊語音和文本數(shù)據(jù)訓(xùn)練一個(gè)聲學(xué)模型,并以該模型為核心,結(jié)合并改進(jìn)了SailAlign算法來對(duì)文本和語音進(jìn)行高效的、迭代的