論漢英平行語料的平行處理.pdf

1、平行語料庫(kù)研究是近年來語料庫(kù)語言學(xué)橫向發(fā)展的新趨勢(shì)。人們已經(jīng)清楚認(rèn)識(shí)到大規(guī)模的高質(zhì)量漢英平行語料庫(kù)在自然語言處理、比較語言學(xué)研究和第二語言教學(xué)等眾多領(lǐng)域中的巨大價(jià)值。但與單語語料庫(kù)相比，漢英平行語料庫(kù)無論在規(guī)模還是質(zhì)量上都有較大差距。 為了進(jìn)一步提高漢英平行語料的加工精度以適應(yīng)建設(shè)和利用大規(guī)模平行語料的要求，本文以漢英平行語料的平行處理為主要研究對(duì)象，旨在利用雙語信息，尤其是來自另一語言的信息來解決平行語料中某一語言的歧義問題。

2、 本項(xiàng)研究主要取得了以下幾方面成果： 第一，系統(tǒng)研究了平行處理技術(shù)。不僅明確了平行處理的含義，它在平行語料加工中的地位及價(jià)值，以及平行語料中用于消歧的語言資源層次及類別等等，而且還通過實(shí)驗(yàn)詳細(xì)論證了平行處理技術(shù)在未登錄詞識(shí)別、詞性標(biāo)注、詞義標(biāo)注及句法分析等自然語言處理各層面的利用方法及有效性。 第二，平行處理技術(shù)是漢—英和英—漢雙向的。我們不僅利用英語來解決漢語的歧義問題，包括漢語未登錄詞識(shí)別、漢語兼類詞和多義詞

3、標(biāo)注以及漢語“動(dòng)詞+名詞”短語類型識(shí)別等，而且也利用漢語來解決英語歧義，例如英語的詞性消歧和詞義消歧等。 第三，在未經(jīng)詞匯對(duì)齊的平行語料中，實(shí)踐了基于個(gè)性規(guī)則的詞性、詞義消歧方法。統(tǒng)計(jì)模型適于自動(dòng)處理數(shù)據(jù)密集的問題，本文對(duì)英語人名漢譯名的平行識(shí)別就主要使用了統(tǒng)計(jì)方法，精確率達(dá)到99.45％。而對(duì)于一些統(tǒng)計(jì)處理消歧效果較差、但出現(xiàn)頻率又很高的詞語，我們手工編寫針對(duì)性極強(qiáng)的消歧規(guī)則。這些規(guī)則具有不受上下文長(zhǎng)度和模板數(shù)量限制、特別適合

4、于雙語平行處理、消歧效果好等優(yōu)點(diǎn)。我們?yōu)?個(gè)典型兼類詞(過去、計(jì)劃、與、back、so)和5個(gè)典型多義詞(地方、所有、等、since、state)設(shè)計(jì)的平行處理算法，在大規(guī)模英漢或漢英平行語料中得到了驗(yàn)證，觀察語料中的標(biāo)注精確率均為100％，各類型語料中的總體精確率最高為100％，最低的也達(dá)到了96.59％，這比目前僅利用單語進(jìn)行詞性和詞義消歧的成績(jī)有了大幅度提高。 第四，精加工了1000句對(duì)的漢英平行語料。我們首先統(tǒng)計(jì)分析了這