基于深度神經(jīng)網(wǎng)絡(luò)的語音識別模型研究.pdf

1、語音作為最自然、最有效的交流途徑，一直是人機通信和交互領(lǐng)域最受關(guān)注的研究內(nèi)容之一。自動語音識別的主要目的是讓計算機能夠“聽懂”人類的語音，將語音波形信號轉(zhuǎn)化成文本。它是實現(xiàn)智能的人機交互的關(guān)鍵技術(shù)之一。聲學(xué)模型和語言模型是語音識別系統(tǒng)的兩個核心模塊。傳統(tǒng)的語音識別系統(tǒng)普遍采用基于高斯混合模型和隱馬爾科夫模型(Gaussian Mixture Model-Hidden MarkovModel，GMM-HMM)的聲學(xué)模型以及n-gram語言

2、模型。近年來，隨著深度學(xué)習(xí)的興起，基于深度神經(jīng)網(wǎng)絡(luò)的聲學(xué)模型和語言模型相比于傳統(tǒng)的GMM-HMM和n-gram模型分別都獲得了顯著的性能提升。在此背景下，本論文從深度神經(jīng)網(wǎng)絡(luò)的模型結(jié)構(gòu)出發(fā)，展開了較為系統(tǒng)和深入的研究，一方面對現(xiàn)有的模型進行優(yōu)化，另一方面結(jié)合語音及語言信號的特性探究新的網(wǎng)絡(luò)結(jié)構(gòu)模型，從而提高基于深度神經(jīng)網(wǎng)絡(luò)的語音識別系統(tǒng)的性能和訓(xùn)練效率。
　　首先，本文研究了基于前饋全連接深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Ne

3、tworks，DNN)的語音聲學(xué)建模。我們分別探索了基于sigmoid非線性激活函數(shù)的DNN(sigmoid-DNN)和基于整流線性單元(Rectified Linear Units, ReLU)的DNN(RL-DNN)的大詞匯量連續(xù)語音識別。首先針對傳統(tǒng)的sigrnoid-DNN，我們通過研究發(fā)現(xiàn)其隱層權(quán)重越往高層稀疏性越強的特性，提出了一種隱層節(jié)點遞減的DNN結(jié)構(gòu)，命名為sDNN。實驗結(jié)果表明sDNN可以在保持性能基本不變的情況下將

4、模型參數(shù)量減少到45％，從而獲得2倍的訓(xùn)練加速。進一步地我們提出將dropout預(yù)訓(xùn)練作為一種神經(jīng)網(wǎng)絡(luò)的初始化方法，可以獲得相比于傳統(tǒng)的無監(jiān)督Pre-training更好的性能。然后我們針對RL-DNN的研究發(fā)現(xiàn)，通過合理的參數(shù)配置，可以采用基于大批量的隨機梯度下降算法來訓(xùn)練RL-DNN，從而能夠利用多個圖形處理單元(Graphic Processing Unit，GPU)進行并行化訓(xùn)練，可以獲得超過10倍的訓(xùn)練加速。進一步地我們提出了

5、一種綁定標(biāo)量規(guī)整的方法用于優(yōu)化RL-DNN的訓(xùn)練，不僅使得訓(xùn)練更加穩(wěn)定，而且能夠獲得顯著的性能提升。
　　其次，本文提出一種固定長度依次遺忘編碼(Fixed-size Ordinally ForgettingEncoding，F(xiàn)OFE)方法用于語言模型建模。FOFE通過簡單的順序遺忘機制來對序列中的單詞位置進行建模，可以將任何可變長度的單詞序列唯一地編碼成固定大小的表達。本研究中，我們提出基于FOFE的前饋神經(jīng)網(wǎng)絡(luò)語言模型(FOF

6、E-FNNLM)。實驗結(jié)果表明，在不使用任何反饋連接的情況下，基于FOFE的FNNLM顯著的優(yōu)于標(biāo)準的基于1-of-k編碼作為輸入的FNNLM，同時也優(yōu)于基于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks，RNN)的語言模型。
　　再次，本文提出了一種新穎的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，命名為前饋序列記憶神經(jīng)網(wǎng)絡(luò)(Feedforward Sequential Memory Networks，F(xiàn)SMN)。FSMN可以對時序信號中的

7、長時相關(guān)性(long-term dependency)進行建模而不需要使用反饋連接。本研究所提出來的FSMN可以認為是在標(biāo)準的前饋全連接神經(jīng)網(wǎng)絡(luò)的隱藏層中配備了一些可學(xué)習(xí)的記憶模塊。這些記憶模塊使用抽頭延遲線結(jié)構(gòu)將長時上下文信息編碼成固定大小的表達作為一種短時記憶機制。我們在語音識別聲學(xué)建模以及語言模型建模任務(wù)上驗證了所提出的FSMN模型。實驗結(jié)果表明，F(xiàn)SMN不僅可以取得相比于當(dāng)前最流行的循環(huán)神經(jīng)網(wǎng)絡(luò)更好的性能，而且訓(xùn)練更加高效。在此

8、基礎(chǔ)上，我們探索了FSMN模型的改進，通過結(jié)合低秩矩陣分解的思路以及修改記憶模塊的編碼方式提出了一種結(jié)構(gòu)簡化的FSMN，命名為cFSMN。同時通過在cFSMN的記憶模塊之間添加跳轉(zhuǎn)連接，避免深層網(wǎng)絡(luò)訓(xùn)練過程梯度消失的問題，實現(xiàn)了非常深層的cFSMN的訓(xùn)練。我們在Switchboard數(shù)據(jù)庫以及Fisher數(shù)據(jù)庫進行的聲學(xué)建模實驗驗證了所提出的模型的性能。Fisher數(shù)據(jù)庫的實驗結(jié)果表明基于深層的cFSMN的識別系統(tǒng)相比于主流的基于BLS

9、TM的識別系統(tǒng)可以獲得13.8％的相對詞錯誤率下降。
　　最后，本文提出一種用于高維數(shù)據(jù)建模的新模型，稱之為聯(lián)合優(yōu)化正交投影和估計(Hybrid Orthogonal Projection and Estimation，HOPE)模型。HOPE將線性正交投影和混合模型融合為一個生成模型。HOPE模型本身可以從無標(biāo)注的數(shù)據(jù)中通過無監(jiān)督最大似然估計方法進行無監(jiān)督學(xué)習(xí)，同時也可以采用帶標(biāo)注的數(shù)據(jù)進行有監(jiān)督學(xué)習(xí)。更為有趣的是，我們的研究闡