基于混淆網(wǎng)絡的漢語語音檢索技術研究.pdf

1、隨著互聯(lián)網(wǎng)和多媒體技術的快速發(fā)展,每天都會涌現(xiàn)海量的音頻文件,如何對這些語音文檔進行有效地檢索和分類成為信息處理領域中的一個熱點問題。目前語音檢索技術的研究主要是基于統(tǒng)計模式識別的基礎理論,對連續(xù)語音信號的處理從聲學層和語言層兩個方面進行考慮。網(wǎng)格技術作為一種新興的信息檢索技術,其結構恰好能夠描述這兩方面的內容。它是以文本的形式把檢索過程中得到的多個候選結果保留下來,特別適合用于與任務無關的語音文檔檢索中。對網(wǎng)格進行剪枝后得到的混淆網(wǎng)絡

2、,在結構上更為緊湊,能夠提高識別的準確率。因此把網(wǎng)格作為一個語音檢索系統(tǒng)的輸入是非常有前景的,基于網(wǎng)格和混淆網(wǎng)絡的語音檢索技術正受到越來越多的重視。
　　 網(wǎng)格的建立和查詢搜索階段的索引策略構成了語音檢索技術中兩個重要的組成部分。本論文首先針對語音信號檢索中混淆網(wǎng)絡的生成、檢索過程中的搜索策略以及置信度的計算等方面的問題進行了研究。之后重點討論了如何在混淆網(wǎng)絡中進一步豐富聲學層面以及語言學層面的信息,提出了在聲學模型中附加聲調信

3、息模型和在語言模型中附加韻律信息模型的方法。論文所做工作主要集中在以下幾個方面:
　　 首先,由于在低信噪比環(huán)境下,連續(xù)語音信號分割效果不理想,因此提出了一種基于投票選擇機制的連續(xù)語音信號分割方法。該方法對幾種不同的分割結果進行投票選擇,以提高語音分割的準確率。實驗結果表明,該方法在低信噪比條件下對語音信號的分割結果更接近人工標注的分割結果。
　　 其次,針對基于網(wǎng)格結構的語音檢索技術,提出了基于樞紐路徑的混淆網(wǎng)絡生成方

4、法,在不降低檢索性能的前提下,使網(wǎng)格結構更為緊湊,縮減了索引尺寸,并且使附加信息更加豐富。同時針對搜索策略提出了改進的DMLS方法,在檢索過程中用最小編輯距離來補償音節(jié)識別器中的插入、刪除、替代等錯誤。另外,針對語音檢索中置信度的計算問題,提出了以互信息量作為置信度的方法,并結合后驗概率得到了一個全新的置信度。最后通過仿真實驗,驗證了所提出方法的有效性。
　　 再次,為了使混淆網(wǎng)絡中的信息更加全面,從而提高語音檢索系統(tǒng)的整體性能

5、,提出將聲調模型融合到混淆網(wǎng)絡中。并且用聲調核子代替全音節(jié)進行聲調特征的提取,在此基礎上建立了基于聲調核子的MSD-HMM聲調模型。將該模型與混淆網(wǎng)絡中原有聲學模型結合,在語言模型不變的情況下進行了語音檢索實驗。得到的仿真結果證明了聲調特征在語音檢索中作為輔助信息的有效性。
　　 最后,提出在混淆網(wǎng)絡中附加韻律學特征信息,來提高語音檢索的性能。先針對韻律事件的檢測問題進行了研究,分別利用聲學特征、詞匯特征和句法特征進行韻律事件的

6、檢測。將建立起來的韻律模型融合到現(xiàn)有混淆網(wǎng)絡的聲學模型和語言模型中。進行的語音檢索仿真實驗表明,附加韻律事件特征有助于提高語音檢索的性能。
　　 綜上所述,本論文研究了基于混淆網(wǎng)絡的連續(xù)漢語語音的檢索問題,主要針對混淆網(wǎng)絡的生成和檢索階段的搜索策略進行了改進。提出了基于樞紐路徑的混淆網(wǎng)絡生成算法和基于改進DMLS的檢索方法。另外,分別針對混淆網(wǎng)絡中的聲學模型和語言模型,采取附加特征信息的方法來提高語音檢索的性能。在聲學模型中結合