基于停用詞處理的漢語語音檢索方法.pdf

1、隨著互聯(lián)網(wǎng)和多媒體技術(shù)的發(fā)展，語音資料的數(shù)量迅速膨脹?？焖儆行У剡M(jìn)行語音資料的檢索變得越來越重要。語音檢索作為語音識(shí)別研究中的一個(gè)新領(lǐng)域，其目的是在大量語音資源中搜索與用戶給出的查詢?cè)~（Query）相關(guān)聯(lián)的語音段。它通過事先為語音資源建立索引，從而實(shí)現(xiàn)了基于語義內(nèi)容的快速搜索。
　　本文的主要工作是研究漢語語音檢索系統(tǒng)的性能優(yōu)化策略。
　　針對(duì)語音資料中大量出現(xiàn)的停用詞問題，本文引入了停用詞處理技術(shù)。停用詞被定義為在文檔中出

2、現(xiàn)頻率很高，但是對(duì)實(shí)際的檢索沒有幫助的詞。引入與檢索內(nèi)容無關(guān)的停用詞，對(duì)于信息相關(guān)性的計(jì)算精度必然產(chǎn)生負(fù)面影響，從而制約檢索的精度。由于語音檢索的特殊性，本文采用左右熵的方法來進(jìn)行停用詞的選擇。給出了停用詞的選擇算法，通過比較左右熵方法和詞頻方法可以看出，左右熵方法得到的停用詞效果更好，更能反映上下文的情況。
　　應(yīng)用所提出的方法，本文給出完整的語音檢索在線部分處理過程，包括利用音節(jié)Lattice建立索引，利用向量空間模型進(jìn)行查詢

3、詞和語音文檔之間相似度的計(jì)算，最后根據(jù)相似度對(duì)查詢結(jié)果排序，從而給出用戶的查詢結(jié)果。每個(gè)語音文檔都由一個(gè)特征向量來表示，特征向量中的每個(gè)分量從語音文檔對(duì)應(yīng)的lattice中提取。通過搜索每個(gè)lattice，從中提取所有音節(jié)和相鄰音節(jié)對(duì)的聲學(xué)分來形成語音文檔的特征向量。由于語音識(shí)別的不準(zhǔn)確性以及漢語中一音多字現(xiàn)象的存在，本文提出對(duì)特征向量中出現(xiàn)的停用詞音節(jié)序列加入懲罰因子，以降低其在特征向量中的權(quán)重。通過試驗(yàn)比較，懲罰因子取值為0.1。在