音素候選者生成器的研究.pdf

1、當(dāng)人們使用搜索引擎在互聯(lián)網(wǎng)中檢索信息時(shí)，查詢?cè)~中會(huì)出現(xiàn)拼寫錯(cuò)誤，這嚴(yán)重阻礙了人們獲得其所需信息。這些拼寫錯(cuò)誤可分為兩類：打字錯(cuò)誤和認(rèn)知錯(cuò)誤。其中，認(rèn)知錯(cuò)誤是指人們知道某個(gè)單詞的發(fā)音而不知道其正確的拼寫而進(jìn)行的猜測。拼寫糾正算法正是用于糾正這些拼寫錯(cuò)誤，其首先要對(duì)錯(cuò)誤的拼寫生成其候選者集合。Double Metaphone技術(shù)是目前主流的對(duì)認(rèn)知錯(cuò)誤生成候選者集合的方法。然而，由于其是一組發(fā)音規(guī)則的簡單模擬，加之英語發(fā)音系統(tǒng)非常復(fù)雜，因此其

2、生成的候選者集合并不理想。本文提出了一種基于機(jī)器學(xué)習(xí)理論的音素候選者生成器以代替Double Metaphone技術(shù)，用于產(chǎn)生與查詢?cè)~發(fā)音相似的候選者集合以增強(qiáng)拼寫糾正的性能。
　　 音素候選者生成器包含兩個(gè)模塊：音素序列估計(jì)和音素序列相似度測量。音素序列估計(jì)是基于Letter-To-Sound算法的，可能采用的模型有分類回歸樹模型以及條件隨機(jī)場模型。這兩種模型都是基于大量數(shù)據(jù)的機(jī)器學(xué)習(xí)模型。本文提出的音素候選者生成器分別采用兩

3、種模型進(jìn)行實(shí)驗(yàn)，分析和指出了他們的優(yōu)劣。音素序列相似度測量基于加權(quán)的Levenshtein編輯距離計(jì)算。該距離的計(jì)算需要一個(gè)元距離表，該表描述音素的插入、刪除和替換的代價(jià)。本文通過計(jì)算兩個(gè)隱馬爾科夫模型之間Kullback-Leibuler散度的來獲元距離表。
　　 音素候選者生成器中所采用的模型都是通過大量數(shù)據(jù)訓(xùn)練而得，有很好的抗噪聲性和魯棒性。通過實(shí)驗(yàn)表明，音素候選者生成器較Double Metaphone有著更好的性能。不