漢語(yǔ)語(yǔ)料庫(kù)的切分標(biāo)注處理和專名識(shí)別.pdf

1、當(dāng)今信息處理中占絕大比例的是語(yǔ)言文字的處理，與傳統(tǒng)的理性主義方式相輔的是經(jīng)驗(yàn)主義方法，其中大規(guī)模真實(shí)文本語(yǔ)料庫(kù)加工因具有實(shí)用性強(qiáng)、見(jiàn)效快的特點(diǎn)，普遍受人歡迎。 語(yǔ)料庫(kù)語(yǔ)言學(xué)是80年代才嶄露頭角的一門(mén)計(jì)算語(yǔ)言學(xué)的新的分支學(xué)科，它的應(yīng)用領(lǐng)域極廣，包括文本分類、檢索、自動(dòng)摘要、信息獲取、簡(jiǎn)單的機(jī)器翻譯和基于實(shí)例的對(duì)話系統(tǒng)。語(yǔ)料庫(kù)語(yǔ)言學(xué)研究的基礎(chǔ)是機(jī)器可讀的大容量語(yǔ)料庫(kù)，由于原始的未經(jīng)加工處理的文本(生語(yǔ)料)很少直接起作用，需要先對(duì)其進(jìn)

2、行分析處理才能運(yùn)用于實(shí)踐。 漢語(yǔ)不同于印歐語(yǔ)種，缺乏天然的分割信息，要進(jìn)行漢語(yǔ)的計(jì)算機(jī)處理，必須首先將漢語(yǔ)的詞與詞分開(kāi)，即分詞(也稱切分)，切分是中文語(yǔ)料處理的第一步；為詞語(yǔ)標(biāo)上其所屬的詞類就是詞性標(biāo)注，是語(yǔ)料進(jìn)一步加工的必須過(guò)程。由于多年來(lái)漢語(yǔ)語(yǔ)料切分標(biāo)準(zhǔn)缺乏一個(gè)全國(guó)統(tǒng)一的詳盡的加工標(biāo)準(zhǔn)，各家研究機(jī)構(gòu)由于研究目的等不同，加工的語(yǔ)料不能兼容，造成了資源的重復(fù)建設(shè)和浪費(fèi)；同時(shí)，切分中的排岐和未登錄詞特別是專有名詞的識(shí)別一直困擾著切

3、分標(biāo)注，成為語(yǔ)料加工的瓶頸，甚至可以說(shuō)也成為整個(gè)中文信息處理平臺(tái)的瓶頸。本文主要著重解決這兩個(gè)問(wèn)題。 本文設(shè)計(jì)并基本實(shí)現(xiàn)了一個(gè)具有專名識(shí)別功能的多輸出的漢語(yǔ)切分標(biāo)注系統(tǒng)，同時(shí)考慮了系統(tǒng)的效率和可擴(kuò)充性等實(shí)用方面的問(wèn)題。 為了能使加工的語(yǔ)料既符合國(guó)家制定的加工規(guī)范，又能適應(yīng)不同應(yīng)用的實(shí)際需求，本文提出了一個(gè)規(guī)范獨(dú)立的加工模型。在基本的分詞和標(biāo)注模塊之后，有一個(gè)單獨(dú)的規(guī)范規(guī)則處理模塊，系統(tǒng)的分詞和標(biāo)注模塊可同切分標(biāo)注的相關(guān)規(guī)

4、范無(wú)關(guān)，一旦規(guī)范修改，只需替換切分標(biāo)注規(guī)范規(guī)則文件即可。同時(shí)，本系統(tǒng)在加工中對(duì)每個(gè)詞都加上了信息，個(gè)性化輸出模塊可以根據(jù)這些信息按需輸出不同顆粒度大小的加工結(jié)果。 在切分和標(biāo)注模塊，系統(tǒng)改進(jìn)了前綴碼分詞算法，采用了結(jié)合前綴詞表的首尾二字哈希查找算法來(lái)提高效率，同時(shí)，針對(duì)單獨(dú)使用規(guī)則或概率方法消歧的不足，將兩種方法有機(jī)的結(jié)合起來(lái)進(jìn)行歧義消減。 在專名識(shí)別方面，在參考國(guó)內(nèi)各家方法的基礎(chǔ)上，系統(tǒng)設(shè)計(jì)了自己的人名識(shí)別和地名識(shí)別的