面向統(tǒng)計機器翻譯的領(lǐng)域自適應方法研究.pdf

1、統(tǒng)計機器翻譯是目前主流的機器翻譯方法，它以統(tǒng)計模型為基礎(chǔ)，可以高效地獲取翻譯知識、快速地開發(fā)性能優(yōu)良的翻譯系統(tǒng)。但是當領(lǐng)域發(fā)生變化時，利用現(xiàn)有的統(tǒng)計機器翻譯方法難以開發(fā)出令人滿意的機器翻譯系統(tǒng)。一方面，在中英科技文獻領(lǐng)域應用統(tǒng)計機器翻譯時，領(lǐng)域變化帶來的中文分詞精度的下降會給獲取高質(zhì)量翻譯知識帶來很大障礙;另一方面，新領(lǐng)域往往引入大量的特有詞匯，造成翻譯系統(tǒng)已有的翻譯知識無法對其進行翻譯。
　　針對領(lǐng)域變化引起的問題，本文重點研究

2、面向統(tǒng)計機器翻譯的領(lǐng)域自適應方法，以提高翻譯知識的質(zhì)量和覆蓋率。這些方法包括面向統(tǒng)計機器翻譯的中文分詞的領(lǐng)域自適應方法和復述技術(shù)的應用方法，都以提高統(tǒng)計機器翻譯系統(tǒng)的領(lǐng)域自適應能力為目標。本文主要包括以下兩方面工作:
　　(1)針對領(lǐng)域變化引起的中文分詞精度下降問題，本文提出了利用大規(guī)模生語料中n-gram統(tǒng)計特征的中文分詞方法和基于平行語料引導的中文分詞方法。在此基礎(chǔ)上，本文提出了基于線性模型的多特征融合方法，將不同方法的分詞結(jié)

3、果進行融合，為不同領(lǐng)域中漢外統(tǒng)計機器翻譯系統(tǒng)的開發(fā)提供了解決方案。實驗結(jié)果表明，融合多種分詞結(jié)果的方法在分詞精度和統(tǒng)計機器翻譯系統(tǒng)的翻譯性能上均取得了提升。
　　(2)對于新領(lǐng)域特有詞匯降低統(tǒng)計機器翻譯性能的問題，最直接的做法是增加短語表規(guī)模，提高翻譯知識對新領(lǐng)域詞匯的覆蓋率，進而增強統(tǒng)計機器翻譯的領(lǐng)域適應能力。大規(guī)模、高質(zhì)量的平行語料庫難以獲得，直接擴充短語表規(guī)模的方法受到限制。針對此問題，本文提出了引入復述技術(shù)的統(tǒng)計機器翻譯系

4、統(tǒng)（復述是同語言同語義的不同表達方式）。其基本思想是:由于自然語言表達多樣性的存在，短語表對語義的覆蓋率一般高于對短語現(xiàn)象的覆蓋率;通過將新領(lǐng)域特有詞匯轉(zhuǎn)化為短語表熟知的復述形式，統(tǒng)計機器翻譯系統(tǒng)可以為其尋得合適的譯文。具體實現(xiàn)中，本文利用第三種語言獲取帶有概率的復述短語表，用格圖表示待翻譯句子的多種復述形式，改進機器翻譯解碼算法使之能夠處理格圖形式的輸入。實驗結(jié)果表明，在不同規(guī)模的數(shù)據(jù)集上，引入復述特征的翻譯系統(tǒng)性能普遍優(yōu)于傳統(tǒng)的統(tǒng)計