基于統(tǒng)計的機器翻譯研究及應(yīng)用.pdf

1、在互聯(lián)網(wǎng)高速發(fā)展的信息時代，不同地區(qū)國家之間的交流變得更加容易和頻繁，語言作為信息的載體，不同語言之間的翻譯的重要性與日俱增。巨大的翻譯需求推動著機器翻譯的快速發(fā)展，在眾多的翻譯模型中，短語統(tǒng)計機器翻譯模型應(yīng)用最廣且具有較高的翻譯性能，近年來逐漸成為機器翻譯領(lǐng)域的核心內(nèi)容。
　　本文研究的主要內(nèi)容為基于短語的統(tǒng)計機器翻譯系統(tǒng)的設(shè)計與實現(xiàn)，將機器翻譯分為語料預(yù)處理，翻譯模型訓(xùn)練，語言模型訓(xùn)練和解碼器四個獨立的功能模塊。語料預(yù)處理主要

2、包括分詞以及格式標(biāo)準(zhǔn)化;翻譯模型訓(xùn)練主要包括詞對齊，短語抽取以及短語評分;語言模型使用最常用的N-Gram語言模型;解碼器是翻譯系統(tǒng)的核心模塊，包括翻譯候選項獲取，計算未來翻譯概率，搜索最優(yōu)路徑和譯文生成工作。本文采用基于棧的搜索算法，在解碼過程中，為了提高翻譯效率，運用不同的剪枝策略分別對解碼器進行優(yōu)化，并通過實驗對比不同剪枝策略對翻譯結(jié)果的影響。
　　本文實現(xiàn)了一個完整的統(tǒng)計機器翻譯系統(tǒng)，能夠完成基本的翻譯需求，并對學(xué)者們提出

3、的立方剪枝，柱狀圖剪枝，動態(tài)剪枝三種剪枝策略在該系統(tǒng)上實驗，通過實驗數(shù)據(jù)得出各種剪枝策略的性能和適用范圍。
　　本文研究得出，基于棧的解碼算法具有較高的翻譯性能，但解碼速度較慢，其原因是翻譯過程中有大量的翻譯候選冗余，選擇合適的剪枝方法，能夠有效提高翻譯效率。本文研究證實在立方剪枝，柱狀圖剪枝，動態(tài)剪枝三種剪枝策略中，立方剪枝的綜合性能最高，并且相對安全和穩(wěn)定;動態(tài)剪枝性能取決于剪枝對象的規(guī)模，其性能隨著剪枝對象規(guī)模的增大而提高，