漢語中介語文本詞語級錯(cuò)誤的自動(dòng)查錯(cuò)研究及其實(shí)現(xiàn)——AECIT.pdf

1、隨著現(xiàn)代出版事業(yè)的不斷擴(kuò)大，人工校對的工作量日益增大，產(chǎn)生了機(jī)器自動(dòng)校對的需求。自動(dòng)校對是自然語言處理的一個(gè)重要的研究領(lǐng)域，它的目的主要是在出版行業(yè)中減輕校對人員的工作量。中文文本自動(dòng)校對較英文文本自動(dòng)校對而言有許多先天性的困難，如分詞、詞性標(biāo)記等。 中介語文本由于它的特殊性，無論是從錯(cuò)誤產(chǎn)生原因還是錯(cuò)誤表現(xiàn)形式都呈現(xiàn)出較普通文本未有的復(fù)雜?，F(xiàn)有的自動(dòng)校對系統(tǒng)是面向普通的中文文本，它處理的是母語為漢語的人士所寫成的中文文本，它們

2、所使用的訓(xùn)練語料和測試語料是同質(zhì)的。本文研究的對象是母語為非漢語的人士寫成的中文中介語文本。二者相比較而言，后者較前者在研究、處理上多了很多困難，如：訓(xùn)練語料和測試語料不同質(zhì)，錯(cuò)誤種類繁多，難以進(jìn)行分類等。本文使用了新疆大學(xué)預(yù)科部少數(shù)民族中介語語料庫，隨機(jī)抽取了2063個(gè)存在錯(cuò)誤的句子，以查找句子中的錯(cuò)誤點(diǎn)為目標(biāo)，構(gòu)造了漢語中介語自動(dòng)查錯(cuò)系統(tǒng)AECIT，采用窗口移動(dòng)的方式，一次讀取一個(gè)三元詞串，以二元詞的互信息為基本統(tǒng)計(jì)手段，結(jié)合詞性和