一種藏漢句子自動(dòng)對(duì)齊系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、在自然語言處理領(lǐng)域,雙語平行語料庫的重要性日益加強(qiáng),其研究主要集中在構(gòu)建、對(duì)齊和標(biāo)注等方面,在機(jī)器翻譯、詞義消歧以及跨語言信息檢索等研究領(lǐng)域中具有重要的實(shí)際研究意義。
　　雙語平行語料庫有多種組織形式,如篇章一級(jí)、句子一級(jí)、詞匯一級(jí)等,其中篇章一級(jí)最容易獲得,但用處不大。從篇章一級(jí)的雙語文本中自動(dòng)獲得句子一級(jí)的雙語語料庫是雙語句子對(duì)齊的過程,也是進(jìn)一步找到詞語間對(duì)應(yīng)關(guān)系和獲得其他翻譯知識(shí)的基礎(chǔ)。本文對(duì)雙語句子自動(dòng)對(duì)齊的相關(guān)技術(shù)理論

2、進(jìn)行了深入細(xì)致的分析研究,針對(duì)藏漢語言的特殊性、翻譯標(biāo)準(zhǔn)的不一致性和藏文資源的不足等因素,把藏漢句子對(duì)齊問題轉(zhuǎn)化為其實(shí)詞之間的匹配過程。選擇了適合于藏漢語言特點(diǎn)的句子對(duì)齊算法,并實(shí)現(xiàn)了藏漢句子自動(dòng)對(duì)齊系統(tǒng)。
　　本論文的研究主要包括以下幾點(diǎn):
　　1、藏文文本分詞。首先針對(duì)目前藏文編碼和書寫格式的雜亂無章,對(duì)文本的編碼、格式進(jìn)行統(tǒng)一化、規(guī)范化自動(dòng)處理,使得系統(tǒng)能夠處理更多的藏文文本;其次,在已有的研究基礎(chǔ)上,充分利用藏文語法

3、信息,詳細(xì)設(shè)計(jì)并實(shí)現(xiàn)了藏文自動(dòng)分詞系統(tǒng),經(jīng)測(cè)試表明,分詞準(zhǔn)確率可達(dá)到96.2％,有利于句子對(duì)齊研究中獲得相關(guān)詞匯信息。
　　2、藏漢文本預(yù)處理。為了句子對(duì)齊問題簡化為其實(shí)詞之間的匹配過程,首先對(duì)藏漢句子的語法結(jié)構(gòu)特點(diǎn)進(jìn)行了研究和探索,其次,對(duì)兩種句子相互對(duì)應(yīng)的規(guī)律進(jìn)行了歸納與總結(jié),最后,對(duì)藏漢文本進(jìn)行分句、分類和提取固定詞匯(實(shí)詞)的預(yù)處理。經(jīng)實(shí)驗(yàn)表明,藏文文本分句的準(zhǔn)確率達(dá)到94.2%,句子分類的準(zhǔn)確率達(dá)到88.05%,句中提取

4、詞匯的準(zhǔn)確率達(dá)到93.8%;漢文句子分類的準(zhǔn)確率達(dá)到90.1%,句中提取詞匯的準(zhǔn)確率達(dá)到97.1%。為藏漢句子自動(dòng)對(duì)齊研究提供了技術(shù)保障。
　　3、句子對(duì)齊。在文本預(yù)處理的基礎(chǔ)上,首先對(duì)藏漢句子進(jìn)行長度相似度和詞匯相似度計(jì)算,并以兩者之和(評(píng)價(jià)函數(shù)值)為藏漢句子的相似度;其次,在動(dòng)態(tài)規(guī)劃框架下,每兩個(gè)句子按8種對(duì)齊模式計(jì)算其評(píng)價(jià)值,最后尋求最優(yōu)對(duì)齊路徑,該路徑上的句對(duì)為最終結(jié)果。從而完成了句子對(duì)齊的整體過程。經(jīng)實(shí)驗(yàn)表明,對(duì)齊準(zhǔn)確率