面向短語統(tǒng)計機(jī)器翻譯解碼算法的研究.pdf

1、自上世紀(jì)90年代以來，統(tǒng)計機(jī)器翻譯取得了飛速發(fā)展，并逐漸成為了機(jī)器翻譯研究領(lǐng)域的核心內(nèi)容。在此期間，學(xué)者們提出了多種統(tǒng)計機(jī)器翻譯模型，包括基于詞的、基于短語的、基于層次短語的和基于句法的統(tǒng)計機(jī)器翻譯模型。而基于句法的統(tǒng)計機(jī)器翻譯模型又可細(xì)分為基于樹到串、串到樹和樹到樹的統(tǒng)計機(jī)器翻譯模型。在眾多的統(tǒng)計機(jī)器翻譯模型中，基于短語的統(tǒng)計機(jī)器翻譯模型應(yīng)用最廣。因為它具有較高的翻譯性能，并且在多種不同語言對之間的翻譯任務(wù)中顯示了較高的魯棒性。

2、>　　基于短語的統(tǒng)計機(jī)器翻譯模型和其它統(tǒng)計模型一樣也是數(shù)據(jù)驅(qū)動的模型。它從雙語語料中自動學(xué)習(xí)翻譯知識，并最終用于翻譯任務(wù)中。一個完整的基于短語的統(tǒng)計機(jī)器翻譯系統(tǒng)往往包括數(shù)據(jù)預(yù)處理、詞對齊、短語抽取、短語打分、解碼器、參數(shù)優(yōu)化器和數(shù)據(jù)后處理等重要模塊。在這些模塊中，短語抽取和短語打分模塊從雙語語料中自動獲取短語翻譯表作為翻譯知識，參數(shù)優(yōu)化器被用來優(yōu)化模型參數(shù)，而解碼器則被用來完成對源語言句子的翻譯。系統(tǒng)的翻譯性能通常用BLEU值作為評價指

3、標(biāo)。
　　可以看到，在一個翻譯系統(tǒng)中，解碼器是真正用來完成翻譯任務(wù)的核心模塊。解碼器的好壞一定程度上決定了系統(tǒng)的翻譯性能和解碼速度。到目前為止，學(xué)者們提出了各種可適用于短語統(tǒng)計機(jī)器翻譯模型的解碼算法。這包括基于棧的解碼算法、Cocke-Younger-Kasami(CYK)解碼算法和移進(jìn)-歸約解碼算法等。考慮到翻譯性能和解碼速度，這些解碼算法各有不同的優(yōu)缺點(diǎn)。基于棧的解碼算法和CYK解碼算法一般具有較高的翻譯性能，但解碼速度較慢;

4、而移進(jìn)-歸約解碼算法往往可以達(dá)到較高的解碼速度，但翻譯性能較低。本文詳細(xì)地介紹了以上幾種解碼算法，并經(jīng)驗性地比較了它們在翻譯性能和解碼速度上的表現(xiàn)。
　　由于某些應(yīng)用同時對翻譯性能和解碼速度的要求較高，而現(xiàn)有的解碼算法往往不是速度不夠快，就是性能不夠好，本文為此提出了一種混合解碼策略。該策略結(jié)合CYK解碼算法和移進(jìn)-歸約解碼算法，使用移進(jìn)-歸約解碼算法解碼用標(biāo)點(diǎn)符號分隔的子句，并用CYK解碼算法組合子句的翻譯，從而生成最終的翻譯結(jié)