適用于漢蒙統(tǒng)計(jì)機(jī)器翻譯的形態(tài)切分方法探究.pdf

1、統(tǒng)計(jì)機(jī)器翻譯(Statistical Machine Translation，簡(jiǎn)寫(xiě)SMT)是機(jī)器翻譯中的主流，也是當(dāng)前非限定領(lǐng)域機(jī)器翻譯中性能較高的一種。其基本思想是通過(guò)對(duì)大規(guī)模的平行語(yǔ)料進(jìn)行統(tǒng)計(jì)分析，構(gòu)建統(tǒng)計(jì)翻譯系統(tǒng)模型，利用此模型進(jìn)行翻譯。
　　 基于詞的統(tǒng)計(jì)是最早的統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)方法，但是卻因?yàn)榻卧^(guò)小而受到一定限制?；谧畲箪啬Ｐ偷膮^(qū)分性訓(xùn)練方法的提出使基于詞的機(jī)器翻譯過(guò)渡到基于短語(yǔ)的翻譯，并正在融合句法信息，以進(jìn)

2、一步提高翻譯的精確性。
　　 不論是基于詞的統(tǒng)計(jì)模型還是基于短語(yǔ)統(tǒng)計(jì)模型本質(zhì)上都是詞匯化的。對(duì)于形態(tài)豐富的語(yǔ)言，由于其語(yǔ)言本身詞法，語(yǔ)法變化繁多。詞干后附加各種詞綴及附加成分來(lái)表達(dá)詞法的或語(yǔ)法上的意義。對(duì)于漢蒙統(tǒng)計(jì)機(jī)器翻譯，兩種語(yǔ)言的特征差異較大，從而產(chǎn)生嚴(yán)重的信息不對(duì)稱，歧義，數(shù)據(jù)稀疏等問(wèn)題。
　　 形態(tài)豐富語(yǔ)言的詞切分是對(duì)其進(jìn)行信息處理的重要基礎(chǔ)。近年來(lái)各種新模型、新方法的提出大大提高了切分質(zhì)量。而應(yīng)用形態(tài)信息的機(jī)器

3、翻譯方法并沒(méi)有太多發(fā)展。不同于傳統(tǒng)的嚴(yán)格基于語(yǔ)言學(xué)上的形態(tài)切分，我們主要針對(duì)漢蒙統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)中形態(tài)信息的應(yīng)用，將基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯模型與形態(tài)切分融合。我們的方法考慮了源語(yǔ)言的目標(biāo)語(yǔ)言互譯信息，提出了有針對(duì)性的目標(biāo)語(yǔ)言形態(tài)切分。采用基于詞典的搜索式切分對(duì)語(yǔ)料庫(kù)進(jìn)行預(yù)處理，后處理中運(yùn)用最大熵模型訓(xùn)練蒙古語(yǔ)的形態(tài)生成。該方法有效的融合了形態(tài)信息的同時(shí)避免了傳統(tǒng)的形態(tài)生成的復(fù)雜計(jì)算。
　　 主流的統(tǒng)計(jì)機(jī)器翻譯評(píng)測(cè)方法中，將單個(gè)詞

4、作為獨(dú)立的基本單元實(shí)體進(jìn)行評(píng)測(cè)，忽略了單個(gè)詞中包含的形態(tài)結(jié)構(gòu)信息。對(duì)于形態(tài)豐富的語(yǔ)言，大量構(gòu)詞構(gòu)形信息包含在詞綴中。對(duì)此類語(yǔ)言進(jìn)行自動(dòng)評(píng)測(cè)時(shí)，一個(gè)詞素的錯(cuò)誤導(dǎo)致整個(gè)詞在評(píng)測(cè)中的錯(cuò)誤。忽略了形態(tài)因子在譯文中的價(jià)值，使得此類評(píng)測(cè)方法無(wú)法給予在形態(tài)信息表征上取得進(jìn)步的系統(tǒng)更合理的評(píng)分。所以我們提出了一種基于形態(tài)因子的蒙古語(yǔ)機(jī)器翻譯評(píng)測(cè)方法，在統(tǒng)計(jì)模型中加入語(yǔ)言特征的方法，解決了過(guò)度切分帶來(lái)的粒度過(guò)小，結(jié)果不準(zhǔn)確問(wèn)題。豐富了對(duì)于形態(tài)豐富語(yǔ)言的評(píng)