Web雙語平行語料自動(dòng)獲取及其在統(tǒng)計(jì)機(jī)器翻譯中的應(yīng)用.pdf

1、雙語平行語料庫在自然語言處理領(lǐng)域有很多重要應(yīng)用，它為統(tǒng)計(jì)機(jī)器翻譯模型提供不可或缺的訓(xùn)練數(shù)據(jù)，同時(shí)也是詞典編纂和跨語言信息檢索等應(yīng)用的重要基礎(chǔ)資源。但是大規(guī)模雙語平行語料庫的獲取并不容易，現(xiàn)有的平行語料庫在規(guī)模、時(shí)效性和領(lǐng)域的平衡性等方面還不能滿足處理真實(shí)文本的實(shí)際需要。隨著互聯(lián)網(wǎng)的普及和飛速發(fā)展，越來越多的雙語網(wǎng)站被創(chuàng)建，越來越多的信息以多語言的形式發(fā)布，這就為雙語和多語語料庫的建設(shè)提供了很大的來源。一些研究者提出了基于Web的雙語或多

2、語平行語料庫自動(dòng)挖掘方法，為雙語或多語平行語料庫的自動(dòng)構(gòu)建提出了有效的解決途徑。本文致力于構(gòu)建一個(gè)基于Web的大規(guī)模雙語平行語料庫自動(dòng)獲取系統(tǒng)。取得主要成果有以下幾方面：
　　 1.研究了雙語混合網(wǎng)頁的自動(dòng)發(fā)現(xiàn)和獲取
　　 互聯(lián)網(wǎng)上的雙語平行資源主要分為兩類：一類是雙語資源分布于兩個(gè)網(wǎng)頁間，兩個(gè)網(wǎng)頁用不同語言描述內(nèi)容上是互譯的，我們稱之為雙語平行網(wǎng)頁；另一類是雙語資源位于同一網(wǎng)頁內(nèi)，我們稱之為雙語混合網(wǎng)頁。以往的系統(tǒng)主要

3、是基于雙語平行網(wǎng)頁的，但是通過觀察，我們發(fā)現(xiàn)Web上存在大量的雙語混合網(wǎng)頁，而且雙語混合網(wǎng)頁上的雙語資源對(duì)照更為工整，翻譯質(zhì)量較高，是非常寶貴的雙語資源來源。
　　 雙語平行網(wǎng)頁存在地址或結(jié)構(gòu)上的相似性，處理方法已經(jīng)很成熟，但這些方法并不適用于雙語混合網(wǎng)頁。候選雙語混合網(wǎng)頁分布通常不確定，缺乏一些常見的啟發(fā)信息，獲取更為困難。本文提出了一種基于嘗試下載策略的自動(dòng)發(fā)現(xiàn)雙語混合網(wǎng)頁的方法，運(yùn)用該方法獲取候選混合網(wǎng)站具有較高的正確率。

4、
　　 2.研究了從雙語混合網(wǎng)頁中抽取平行句對(duì)的方法
　　 從雙語混合網(wǎng)頁中抽取平行句對(duì)的主要任務(wù)可以分成三部分：網(wǎng)頁噪聲過濾、雙語混合網(wǎng)頁確認(rèn)和句子對(duì)齊。本文研究并實(shí)現(xiàn)了兩種網(wǎng)頁去噪聲方法：專用的基于模板的方法和通用的基于Html標(biāo)簽樹的方法。對(duì)于雙語混合網(wǎng)頁的確認(rèn)本文分兩步實(shí)驗(yàn)，分別是基于雙語字符數(shù)的粗判別和基于詞典的細(xì)判別。最后，本文采用基于混合信息的句子對(duì)齊方法將篇章級(jí)的雙語平行文本轉(zhuǎn)化成雙語平行句對(duì)。本文解決了