面向統(tǒng)計機器翻譯的語料處理與評價技術(shù)研究.pdf

1、近年來，基于統(tǒng)計的方法在機器翻譯領(lǐng)域內(nèi)越來越占據(jù)到主導(dǎo)地位，多種基于統(tǒng)計方法的機器翻譯系統(tǒng)相繼出現(xiàn)，如基于短語、基于層次型短語、基于句法等等。而對于機器翻譯系統(tǒng)，語料是不可或缺的重要資源，所謂“巧婦難為無米之炊”?！帮垺弊龅暮贸赃€是不好吃，“巧婦”很重，當(dāng)然也不能沒有米，“米”質(zhì)量的好壞也至關(guān)重要。為此，本文重點研究統(tǒng)計機器翻譯語料的預(yù)處理、雙語語料質(zhì)量的評價，以及語料選取和訓(xùn)練集的構(gòu)建。另外，對雙語術(shù)語資源的自動獲取工作做了一些簡單的

2、介紹。
　　語料預(yù)處理工作是一項比較繁瑣但對機器翻譯來講又十分重要的任務(wù)。本文從傳統(tǒng)預(yù)處理角度介紹了預(yù)處理的流程、相關(guān)技術(shù)。同時結(jié)合專利翻譯任務(wù)語料預(yù)處理對涉及到的一些問題進(jìn)行了討論。簡單的探討了預(yù)處理對機器翻譯性能的影響。
　　另外，針對統(tǒng)計機器翻譯雙語語料質(zhì)量參差不齊，并且難以保證的問題，本文比較了幾種不同的句對質(zhì)量評價方法，包括基于雙語詞典的句對質(zhì)量評價等。從忠誠度和流暢度兩個方面來衡量句對質(zhì)量。通過實驗驗證了這些方法

3、的合理性，并對其中存在的問題進(jìn)行了分析。
　　雙語專名、術(shù)語翻譯資源對于機器翻譯來說也是非常重要的。本文基于互聯(lián)網(wǎng)和學(xué)術(shù)文獻(xiàn)數(shù)據(jù)庫，用自動的方法獲取了數(shù)百萬的雙語術(shù)語翻譯資源，并對資源進(jìn)行了整理和規(guī)范化。這些資源為機器翻譯系統(tǒng)提供了重要的資源支撐。當(dāng)然，這些資源同樣可用于中文分詞，信息檢索等諸多領(lǐng)域。
　　在訓(xùn)練語料的選取和訓(xùn)練集構(gòu)建方面，本文提出了基于句對質(zhì)量和覆蓋度的統(tǒng)計機器翻譯訓(xùn)練語料選取方法，通過實驗證明了該方法的有

4、效性。在實驗數(shù)據(jù)上，選取原始規(guī)模20％的語料作為訓(xùn)練集即達(dá)到用全部預(yù)料相當(dāng)?shù)挠?xùn)練效果。并且將該方法用到具體的實際應(yīng)用中，為CWMT2011機器翻譯評測選取100萬中英雙語句對作為訓(xùn)練語料。相關(guān)實驗充分表明了該方法的優(yōu)勢，且簡單有效。
　　在測試集給定并且訓(xùn)練語料有限情況下，為了達(dá)到更佳的訓(xùn)練效果，需要對原始訓(xùn)練集進(jìn)行優(yōu)化。有些研究是從原始的訓(xùn)練集中選擇和測試集相似的句對，通過加重這些相似句對權(quán)重的方法來優(yōu)化訓(xùn)練集的分布，達(dá)到提高翻