中文文本自動(dòng)查錯(cuò)研究.pdf

1、科學(xué)及技術(shù)的發(fā)展使得人類(lèi)已經(jīng)步入了信息化的時(shí)代,人們也越來(lái)越強(qiáng)烈地希望用自然語(yǔ)言同計(jì)算機(jī)交流,自然語(yǔ)言的處理已經(jīng)成為阻礙信息化發(fā)展的首要瓶頸問(wèn)題。中文文本自動(dòng)校對(duì)在自然語(yǔ)言處理領(lǐng)域中處于應(yīng)用技術(shù)研究這一層次,在電子出版業(yè)、文本編輯、機(jī)器翻譯、語(yǔ)言學(xué)習(xí)、文本識(shí)別、語(yǔ)音輸入等領(lǐng)域有著非常廣泛的應(yīng)用。
　　 中文自動(dòng)校對(duì)包含自動(dòng)查錯(cuò)和自動(dòng)糾錯(cuò)兩個(gè)環(huán)節(jié)。由于糾錯(cuò)是在查錯(cuò)的基礎(chǔ)上進(jìn)行的下一步操作,因此,中文文本的自動(dòng)查錯(cuò)方法研究更加緊迫。

2、本文在對(duì)目前國(guó)內(nèi)的自動(dòng)查錯(cuò)技術(shù)進(jìn)行深入研究和分析的基礎(chǔ)上,提出了對(duì)字詞級(jí)錯(cuò)誤進(jìn)行檢查的一種混合方法,并且在技術(shù)實(shí)現(xiàn)上進(jìn)行了有益的嘗試。具體地說(shuō),本文主要的研究?jī)?nèi)容有以下幾點(diǎn):
　　 基于對(duì)待處理文本采用字詞級(jí)查錯(cuò)處理就能偵測(cè)出絕大多數(shù)錯(cuò)誤這一事實(shí),在早期查錯(cuò)方法的基礎(chǔ)上,提出了一種統(tǒng)計(jì)和模式匹配相結(jié)合的方法。在大規(guī)模現(xiàn)代漢語(yǔ)語(yǔ)料庫(kù)以及易混淆詞詞典的支持下,利用字詞和詞性的二元接續(xù)關(guān)系以及模式匹配的方法對(duì)文本進(jìn)行檢查。本文并非將基

3、于詞和詞性二元接續(xù)關(guān)系的方法和模式匹配的查錯(cuò)方法進(jìn)行簡(jiǎn)單的串聯(lián),而是采取了一定的策略,試圖提高查錯(cuò)的性能。同時(shí)該方法將查錯(cuò)與糾錯(cuò)結(jié)合在一起,在查錯(cuò)的同時(shí)便可實(shí)現(xiàn)糾錯(cuò)功能。
　　 研究了文本自動(dòng)查錯(cuò)前的預(yù)處理工作,包括查錯(cuò)知識(shí)庫(kù)和糾錯(cuò)知識(shí)庫(kù)的建立與更新維護(hù),以及對(duì)文本進(jìn)行分詞和詞性標(biāo)注等。最后引入基于層疊隱馬爾科夫模型的漢語(yǔ)詞法分析系統(tǒng)ICTCLAS,利用其提供的接口實(shí)現(xiàn)中文分詞和詞性標(biāo)注。
　　 對(duì)于中文文本糾錯(cuò)部分,通