統(tǒng)計機器翻譯領域自適應的研究.pdf

1、統(tǒng)計機器翻譯的準確性在很大程度上取決于翻譯建模的質量，而翻譯建模往往依賴于數據的分布。通常上，大多數機器學習任務會假設訓練數據和測試數據是獨立同分布的，然而在實際的系統(tǒng)中，這種假設未必成立。因此，為了達到性能的最優(yōu)，需要根據數據分布的情況對模型進行適當的遷移。近年來，領域自適應技術成為統(tǒng)計機器翻譯研究中的一個熱點話題，目的在于解決訓練數據和測試數據的領域分布不一致問題。通過進行領域自適應，使得模型更符合測試數據分布，進而得到更好的翻譯結

2、果。
　　本文主要針對統(tǒng)計機器翻譯領域自適應中四種問題提出相應的研究方法。第一，針對統(tǒng)計機器翻譯領域自適應的數據獲取和加工問題，提出一種基于圖隨機游走的領域自適應數據處理方法。統(tǒng)計機器翻譯的領域自適應研究需要大量的領域訓練數據，這些數據的質量對翻譯系統(tǒng)性能有很大影響，這是因為低質量的訓練數據會導致錯誤的翻譯知識進而影響翻譯建模的質量。傳統(tǒng)的數據處理方法通常利用有監(jiān)督學習策略過濾低質量數據，然而這種方法需要大量的標注數據才能實現，這

3、在特定領域往往是不存在的。為了減少對標注數據的依賴，我們提出一種無監(jiān)督的圖隨機游走方法進行數據去噪，這種方法基于高質量訓練句對和高質量翻譯規(guī)則能夠互相影響的假設，利用二者的互推薦機制進行建模。實驗結果表明這種方法可以有效地對訓練數據進行去噪，從而提高了機器翻譯性能。
　　第二，針對受限的多領域自適應問題，提出一種基于多任務學習的領域自適應方法。傳統(tǒng)統(tǒng)計機器翻譯領域自適應的研究通常是將模型遷移至一個具體的領域，然而，這種模型遷移往往

4、無法利用不同領域中的共性翻譯知識，因而無法做到同時提高多個領域的翻譯性能。基于多任務學習的方法利用了多任務學習機制進行多領域的自動模型遷移，其中為每個領域獨自學習領域內模型，不同領域共享同一個通用模型。通過多任務學習的方法，這些模型可以進行聯(lián)合調參，使得模型學習更為準確。因此，這種方法可以顯著一致地提高多個領域的翻譯準確性，并且優(yōu)于獨立進行模型遷移的方法。
　　第三，針對開放領域自適應問題，提出一種基于深度學習的領域自適應方法。基

5、于多任務學習的領域自適應方法僅僅考慮句子內部的上下文，無法利用更廣泛的篇章級別上下文語境信息。我們進一步提出基于深度學習的領域自適應方法，通過利用大量的話題相關單語文本的信息，使用神經網絡的結構學習雙語對照數據的話題表示。在翻譯過程中，將話題表示附著至每條翻譯規(guī)則上，這樣在翻譯解碼時，就可以通過相似度量來選擇和源語言話題相似的翻譯規(guī)則。相比于基準系統(tǒng)和其他話題表示學習的方法，基于深度學習的話題表示能夠顯著地提高機器翻譯系統(tǒng)的質量。

6、>　　第四，針對在線實時獲取領域翻譯知識進行開放領域自適應的問題，提出一種基于互聯(lián)網實時檢索的領域自適應方法。當今的統(tǒng)計機器翻譯系統(tǒng)通常依賴大規(guī)?；ヂ?lián)網抓取的離線數據進行翻譯模型和語言模型的訓練。相比較于傳統(tǒng)的方法，我們創(chuàng)新性地提出一種將機器翻譯看作是信息檢索問題，通過實時互聯(lián)網檢索獲取最新的翻譯知識。這種方法利用實時檢索獲取互聯(lián)網中出現的最新數據，并抽取最新的短語級別翻譯知識并生成句子級別翻譯結果。這種基于互聯(lián)網實時檢索的機器翻譯技術