面向Web的多語(yǔ)平行句對(duì)挖掘技術(shù)研究.pdf

1、雙語(yǔ)平行語(yǔ)料庫(kù)是統(tǒng)計(jì)機(jī)器翻譯及其一系列相關(guān)研究應(yīng)用不可或缺的重要資源。傳統(tǒng)的人工校驗(yàn)、錄入平行語(yǔ)料的方式不僅耗時(shí)費(fèi)力，而且很難在有限的時(shí)間內(nèi)建立起較大規(guī)模的平行語(yǔ)料庫(kù)。隨著互聯(lián)網(wǎng)上各種雙語(yǔ)、多語(yǔ)網(wǎng)站的興起，很多研究人員開(kāi)始研究從互聯(lián)網(wǎng)上獲取雙語(yǔ)平行語(yǔ)料。然而，以往的一些研究主要集中于從平行網(wǎng)頁(yè)（內(nèi)容互為翻譯的兩個(gè)不同語(yǔ)種的網(wǎng)頁(yè)）中獲取平行語(yǔ)料。由于平行網(wǎng)頁(yè)的稀缺性，導(dǎo)致所獲得的語(yǔ)料規(guī)模、領(lǐng)域覆蓋度不是很好。后來(lái)，有學(xué)者發(fā)現(xiàn)Web上存在著

2、大量的混合網(wǎng)頁(yè)（同一網(wǎng)頁(yè)中存在互為翻譯的兩個(gè)語(yǔ)種的正文），且混合網(wǎng)頁(yè)中的雙語(yǔ)語(yǔ)料質(zhì)量、覆蓋領(lǐng)域都是平行網(wǎng)頁(yè)所無(wú)法比擬的。因此，本文的研究主要圍繞Web上的混合網(wǎng)頁(yè)展開(kāi)，并致力于建設(shè)能夠從Web中的混合網(wǎng)頁(yè)中自動(dòng)獲取雙語(yǔ)平行語(yǔ)料的系統(tǒng)。
　　本文的具體研究?jī)?nèi)容主要涉及以下幾個(gè)方面：
　　(1)本文總結(jié)了近年來(lái)國(guó)內(nèi)外雙語(yǔ)平行語(yǔ)料庫(kù)建設(shè)以及雙語(yǔ)平行語(yǔ)料庫(kù)建設(shè)方法的研究現(xiàn)狀。目前，國(guó)內(nèi)雙語(yǔ)平行語(yǔ)料庫(kù)建設(shè)和研究工作的主要側(cè)重于語(yǔ)料的后

3、期處理，如語(yǔ)料庫(kù)的加工標(biāo)注、翻譯知識(shí)獲取等方面。同時(shí)，已有的平行語(yǔ)料庫(kù)集中于中英雙語(yǔ)平行語(yǔ)料庫(kù)，面向大規(guī)模原始多語(yǔ)種的雙語(yǔ)平行語(yǔ)料庫(kù)的建設(shè)并沒(méi)有得到充分重視。
　　(2)本文在對(duì)現(xiàn)有雙語(yǔ)平行語(yǔ)料庫(kù)建設(shè)方法進(jìn)行理論分析的基礎(chǔ)上，實(shí)現(xiàn)了從Web自動(dòng)挖掘平行語(yǔ)料的系統(tǒng)。該系統(tǒng)以互聯(lián)網(wǎng)上廣泛存在的具有較高研究?jī)r(jià)值的雙語(yǔ)混合網(wǎng)頁(yè)為主要的雙語(yǔ)語(yǔ)料來(lái)源，其主要技術(shù)難點(diǎn)在于候選網(wǎng)頁(yè)獲取、雙語(yǔ)混合網(wǎng)頁(yè)檢測(cè)、網(wǎng)頁(yè)正文解析、平行句對(duì)齊等。本系統(tǒng)采用借助

4、搜索引擎的檢測(cè)與下載同步進(jìn)行的候選網(wǎng)頁(yè)獲取方法，以網(wǎng)頁(yè)內(nèi)不同語(yǔ)種正文比例進(jìn)行混合網(wǎng)頁(yè)檢測(cè)，使用標(biāo)簽分析的方法進(jìn)行網(wǎng)頁(yè)正文解析，平行句對(duì)齊則是采用融合了HTML標(biāo)簽特征的句對(duì)齊方法。通過(guò)實(shí)驗(yàn)檢驗(yàn)，本系統(tǒng)雙語(yǔ)混合網(wǎng)頁(yè)檢測(cè)準(zhǔn)確率達(dá)到95％以上；網(wǎng)頁(yè)正文解析準(zhǔn)確率達(dá)到88%以上；平行句對(duì)齊準(zhǔn)確率達(dá)到90%以上。
　　(3)本文結(jié)合所獲取的雙語(yǔ)語(yǔ)料，完成了基于Lucene的多語(yǔ)綜合檢索系統(tǒng)。該系統(tǒng)以英語(yǔ)為中間語(yǔ)言進(jìn)行用戶查詢的處理，經(jīng)過(guò)簡(jiǎn)單