基于最大熵的機(jī)器翻譯研究與實(shí)現(xiàn).pdf

1、我國(guó)各民族間合作交流對(duì)社會(huì)穩(wěn)定和民族文化融合有重大意義，大量少數(shù)民族珍貴文獻(xiàn)需要翻譯成漢語(yǔ)來(lái)得以傳承，人工翻譯效率很低，而且少數(shù)民族語(yǔ)言和漢語(yǔ)之間的機(jī)器翻譯效果欠佳，因此有必要深入研究語(yǔ)言的機(jī)器翻譯技術(shù)。機(jī)器翻譯是利用計(jì)算機(jī)智能地將一種源語(yǔ)言轉(zhuǎn)換成另一種目標(biāo)語(yǔ)言的過(guò)程，隨著計(jì)算機(jī)性能的提升和可用語(yǔ)料數(shù)據(jù)的快速發(fā)展，統(tǒng)計(jì)機(jī)器翻譯（SMT）的優(yōu)勢(shì)更加明顯，成為主流的機(jī)器翻譯方式?；谧畲箪氐慕y(tǒng)計(jì)機(jī)器翻譯是借鑒最大熵思想形成的一種直接翻譯模型

2、，這種模型可以融合多個(gè)特征，針對(duì)不同領(lǐng)域設(shè)計(jì)不同的特征選取策略，達(dá)到更好的翻譯效果。因此本文重點(diǎn)研究了最大熵統(tǒng)計(jì)翻譯模型的技術(shù)細(xì)節(jié)，然后面向維漢翻譯領(lǐng)域?qū)δＰ偷奶卣鬟M(jìn)行了針對(duì)性改進(jìn)，最后融合這些特征實(shí)現(xiàn)了基于最大熵的維漢統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)。具體地講，本文完成了以下三方面工作：
　　(1) Skip語(yǔ)言模型和平滑技術(shù)的研究。為了緩解語(yǔ)言模型的數(shù)據(jù)稀疏問(wèn)題，提出一種基于詞頻的skip語(yǔ)言模型，并對(duì)其進(jìn)行平滑處理。詳細(xì)介紹了skip語(yǔ)言模

3、型的訓(xùn)練方式，結(jié)合各種平滑技術(shù)與n-gram語(yǔ)言模型進(jìn)行性能對(duì)比實(shí)驗(yàn)，結(jié)果顯示skip語(yǔ)言模型結(jié)合平滑技術(shù)能夠降低語(yǔ)言模型的困惑度，提高語(yǔ)言模型質(zhì)量。
　　(2)針對(duì)維漢統(tǒng)計(jì)機(jī)器翻譯的最大熵模型研究。闡述了通用統(tǒng)計(jì)翻譯的最大熵模型中各個(gè)特征的技術(shù)細(xì)節(jié)。然后針對(duì)維漢翻譯領(lǐng)域的特點(diǎn)，對(duì)維吾爾語(yǔ)語(yǔ)料進(jìn)行詞素化處理并提出詞綴裁剪的改進(jìn)方案?？紤]到維漢句子結(jié)構(gòu)差異，縮小調(diào)序模型的權(quán)重，構(gòu)建了更適合維漢翻譯的統(tǒng)計(jì)機(jī)器翻譯最大熵模型。實(shí)驗(yàn)驗(yàn)證，

4、使用改進(jìn)的最大熵模型提高了譯文的BLEU評(píng)分。
　　(3)設(shè)計(jì)并實(shí)現(xiàn)了基于最大熵的維漢統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)。論述了翻譯系統(tǒng)的總體架構(gòu)和翻譯流程，描述了翻譯系統(tǒng)中的各模塊的原理、功能和模型訓(xùn)練過(guò)程中的核心模型文件。對(duì)比展示了翻譯和模型訓(xùn)練的實(shí)際效果。
　　本文提出基于最大熵的維漢統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)框架，包括雙語(yǔ)語(yǔ)料的處理、模型訓(xùn)練、性能調(diào)優(yōu)。該系統(tǒng)能夠?yàn)榫S漢翻譯工作者提供比較準(zhǔn)確的譯文參考，展現(xiàn)了重大的實(shí)際應(yīng)用價(jià)值?；趯?duì)維漢翻譯的