面向漢外機(jī)器翻譯的自動(dòng)分詞系統(tǒng).pdf

1、自動(dòng)分詞技術(shù)是漢外機(jī)器翻譯的基礎(chǔ)工程。 漢語(yǔ)自動(dòng)分詞不僅是漢外機(jī)器翻譯的必要環(huán)節(jié)，也是各種漢語(yǔ)信息處理包括語(yǔ)音處理、詞頻統(tǒng)計(jì)、主題詞索引、文摘生成、情報(bào)檢索、漢語(yǔ)句法分析等工作的基礎(chǔ)工程。 本文首先介紹了自動(dòng)分詞系統(tǒng)的總體框架。面向漢外機(jī)器翻譯的漢語(yǔ)自動(dòng)分詞系統(tǒng)主要包括三個(gè)模塊，即：粗切分模塊、規(guī)范化處理過(guò)程模塊以及專(zhuān)名識(shí)別模塊。 針對(duì)組合歧義，本文總結(jié)了組合歧義的組成結(jié)構(gòu)特點(diǎn)，提出了“窮盡標(biāo)注，向上傳遞”的實(shí)用

2、處理策略，并對(duì)組合歧義的發(fā)現(xiàn)策略給出了初步的觀點(diǎn)。本文提出了一種切分規(guī)則庫(kù)與基于歧義資料庫(kù)相結(jié)合的交集型歧義處理策略。在實(shí)際語(yǔ)料中，有一些歧義實(shí)際上是機(jī)器形式上的歧義，即從一個(gè)人的角度來(lái)看，真正可能的切分形式只有一種。本文收集所有這些偽歧義組成了偽歧義表，當(dāng)系統(tǒng)進(jìn)行歧義切分時(shí)，首先查詢(xún)偽歧義表，從而可以極大提高交集型歧義的切分精度。 本文通過(guò)對(duì)大規(guī)模實(shí)際語(yǔ)料庫(kù)的統(tǒng)計(jì)和分析，按照歧義字段的交段個(gè)數(shù)，把交集型歧義字段分為四類(lèi)，分別針

3、對(duì)這些字段共總結(jié)出20余條消歧規(guī)則。通過(guò)開(kāi)放性測(cè)試，這些規(guī)則證明對(duì)交集型歧義的消除是很有效果的。 在專(zhuān)名識(shí)別技術(shù)中，本文提出了一種基于模板和統(tǒng)計(jì)概率的專(zhuān)名識(shí)別方法。本文首先通過(guò)大規(guī)模實(shí)際網(wǎng)絡(luò)語(yǔ)料，得到專(zhuān)名內(nèi)部用字的使用頻率，進(jìn)而對(duì)專(zhuān)名進(jìn)行初步篩選，得到候選專(zhuān)名。而專(zhuān)名的最終確定需要通過(guò)各個(gè)專(zhuān)名模板進(jìn)行統(tǒng)一處理。專(zhuān)名模板是指從實(shí)際語(yǔ)料中抽取出來(lái)的，由專(zhuān)名及其上下文語(yǔ)境組成的一個(gè)包含變量與常量的模式匹配字符串。 在開(kāi)放測(cè)試中