統(tǒng)計(jì)與語(yǔ)言學(xué)相結(jié)合的詞對(duì)齊及相關(guān)融合策略研究.pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展和信息的國(guó)際化，對(duì)于不同語(yǔ)言文本內(nèi)容的理解和傳播成為了人們的強(qiáng)烈需求。機(jī)器翻譯這個(gè)古老的課題在這樣的背景下重新煥發(fā)了生機(jī)。詞對(duì)齊作為統(tǒng)計(jì)機(jī)器翻譯的中間結(jié)果，除了在機(jī)器翻譯中占有重要地位外，在詞義消歧等自然語(yǔ)言處理應(yīng)用領(lǐng)域都有著廣泛的應(yīng)用價(jià)值。
　　傳統(tǒng)基于統(tǒng)計(jì)學(xué)的詞對(duì)齊方法在語(yǔ)料規(guī)模方面有著較高的要求，在小規(guī)模語(yǔ)料資源上如何解決數(shù)據(jù)稀疏，進(jìn)而提高對(duì)齊的正確率成為詞對(duì)齊研究的重點(diǎn)。本文提出了統(tǒng)計(jì)和語(yǔ)言學(xué)知識(shí)相結(jié)合

2、及利用相關(guān)策略融合的方法來(lái)解決這些問(wèn)題。
　　我們采用了基于信源信道統(tǒng)計(jì)機(jī)器翻譯的對(duì)齊模型，結(jié)合雙語(yǔ)詞典、規(guī)則和句法結(jié)構(gòu)特征等語(yǔ)言學(xué)知識(shí)，利用位置信息和詞性信息作為過(guò)濾條件，分別從增加置信度高的對(duì)齊詞對(duì)、刪除錯(cuò)誤對(duì)齊詞對(duì)、改進(jìn)未對(duì)齊和多個(gè)相同詞匯對(duì)齊消歧等方面改進(jìn)了詞對(duì)齊的質(zhì)量。其中結(jié)合雙語(yǔ)詞典和句法結(jié)構(gòu)特征的方法分別在準(zhǔn)確率和召回率方面有所提高，基于規(guī)則的方法在各方面表現(xiàn)優(yōu)異，達(dá)到了0.2503的最低詞對(duì)齊錯(cuò)誤率。
　　此