統(tǒng)計(jì)與規(guī)則相結(jié)合的中文分詞模型設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息化的普及，人們的工作和學(xué)習(xí)已經(jīng)離不開網(wǎng)絡(luò)信息。同時(shí)，隨著網(wǎng)絡(luò)信息規(guī)模的不斷擴(kuò)大，如何高效、準(zhǔn)確地獲取相關(guān)的中文信息逐漸成為人們關(guān)注的問題。中文分詞是中文信息處理的重要步驟，中文分詞系統(tǒng)的分詞精度直接影響著中文信息理解與處理的效率。因此，本文展開這一方面的研究具有重要的意義。
　　 首先，本文闡述了中文分詞的研究背景與意義。分析了目前常用的三種中文分詞方法的基本原理及各自的優(yōu)缺點(diǎn)，并討論了中文分詞的兩個(gè)技術(shù)難點(diǎn):歧義識別和

2、未登錄詞識別。對歧義產(chǎn)生的原因、分類和目前主流的歧義抽取及消除方法等作了詳細(xì)的闡述，同時(shí)詳細(xì)闡釋了未登錄詞的分類和主要的識別方法。并對本文使用的幾個(gè)統(tǒng)計(jì)模型進(jìn)行了簡單的介紹。
　　 其次，本文對基于層疊隱馬分詞模型和基于擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)(Augmented Transfer Network，ATN)的中文分詞技術(shù)進(jìn)行深入研究，提出將隱馬模型和ATN句法分析相結(jié)合的中文分詞框架，并在此基礎(chǔ)上實(shí)現(xiàn)了中文分詞系統(tǒng)原型。具體地，該系統(tǒng)使用基

3、于統(tǒng)計(jì)的N-最短路徑初分模型和ATN句法分析相結(jié)合的方法進(jìn)行歧義切分;使用簡單的規(guī)則識別數(shù)詞和時(shí)間詞;使用基于角色的未登錄詞識別方法識別出漢語人名和地名。繼而將識別得到的未登錄詞和其它詞一起參與競爭，建立基于類的隱馬分詞模型以獲得全局最優(yōu)的分詞序列，并對該序列進(jìn)行詞性標(biāo)注。
　　 最后，本文對該系統(tǒng)做了三個(gè)方面的分詞實(shí)驗(yàn)。本文對搜集到的100句具有歧義現(xiàn)象的語料進(jìn)行歧義切分對比實(shí)驗(yàn)，該系統(tǒng)能夠正確分析其中的83句，而國內(nèi)某分詞系

4、統(tǒng)能夠正確分析其中的75句;隨機(jī)選取六個(gè)不同領(lǐng)域的測試語料各一篇進(jìn)行了開放測試;選取1998年《人民日報(bào)》的一段語料作為測試語料做對比實(shí)驗(yàn)，并將切分結(jié)果與國內(nèi)某分詞系統(tǒng)切分結(jié)果進(jìn)行對比分析。
　　 由實(shí)驗(yàn)測試結(jié)果可知，本文的歧義識別效果好于國內(nèi)某分詞系統(tǒng)。通過任意選擇六個(gè)領(lǐng)域的測試語料對本文進(jìn)行測試，分詞準(zhǔn)確率平均值達(dá)到94.28％，分詞召回率平均值達(dá)到96.25％，分詞切分F-指數(shù)平均值達(dá)到95.25％。對比實(shí)驗(yàn)結(jié)果表明，本文