規(guī)則和統(tǒng)計(jì)相結(jié)合的分詞算法.pdf

1、我們已經(jīng)進(jìn)入一個(gè)信息革命的新時(shí)代，這個(gè)信息時(shí)代的顯著特點(diǎn)是計(jì)算機(jī)在人類生活的各個(gè)方面，起著越來越大的作用。自然語言是人們最重要的交際工具，它與信息處理有著十分密切的關(guān)系。在書面漢語中，詞在句中沒有顯式的標(biāo)記。因此，理解漢語的首要任務(wù)就是把連續(xù)的漢字串分割成詞的序列，即自動(dòng)分詞<'[1]>。 目前大多數(shù)分詞研究都完全依賴計(jì)算機(jī)完成切分工作，不希望人工介入。但其結(jié)果往往不盡如人意。因?yàn)橛?jì)算機(jī)要想準(zhǔn)確切分文本，就一定要建立在對文本語義

2、理解的基礎(chǔ)之上；而要想讓計(jì)算機(jī)能夠理解中文語義，則首先要進(jìn)行分詞。不難理解，陷入這樣的循環(huán)之中，是很難得到理想的切分結(jié)果的。 作者在本文中提出了一種新的規(guī)則與統(tǒng)計(jì)相結(jié)合的分詞方法。本方法的新穎之處在于，解決了理解與切分孰先孰后的兩難問題，通過人工介入來選擇特定領(lǐng)域詞庫，從而縮小了規(guī)則匹配的范圍，提高了詞庫與待切分語料的匹配度；在此基礎(chǔ)上，優(yōu)先采用規(guī)則方法初分語料，最后使用統(tǒng)計(jì)方法對已切分的語料進(jìn)行進(jìn)一步處理。 由于本實(shí)驗(yàn)

3、的核心目的是為證明經(jīng)過人工介入選擇特定領(lǐng)域詞庫，會(huì)使規(guī)則與統(tǒng)計(jì)相結(jié)合的方法對文本的切分準(zhǔn)確率明顯提高，所以，作者采用了最有代表性的正向最大匹配的規(guī)則切分方法和切分準(zhǔn)確率較高的md統(tǒng)計(jì)切分方法，分別使用規(guī)則切分、統(tǒng)計(jì)切分以及規(guī)則與統(tǒng)計(jì)相結(jié)合的方法處理相同語料，并對切分結(jié)果進(jìn)行統(tǒng)計(jì)分析。實(shí)驗(yàn)用到的詞庫關(guān)鍵在于分類合理、內(nèi)容準(zhǔn)確以及符合實(shí)際。作者經(jīng)過認(rèn)真地總結(jié)和細(xì)心的整理，完成了詞匯的歸類和遴選的工作，包括地名、區(qū)劃、計(jì)算機(jī)、俗語、動(dòng)漫游戲、