一個(gè)基于詞典與統(tǒng)計(jì)的中文分詞算法.pdf

1、本文重點(diǎn)介紹了一個(gè)基于字符串匹配與基于統(tǒng)計(jì)相結(jié)合的中文分詞方法，解決了一定條件下的人名，地名，數(shù)量詞等未登錄詞以及交集型歧義和自然語(yǔ)言的二義性引起的歧義等問(wèn)題。本文的算法首先對(duì)待分詞的字符串進(jìn)行斷句(優(yōu)先在待分詞的字符串中識(shí)別和切分出標(biāo)點(diǎn)符號(hào)，以這些符號(hào)作為斷點(diǎn)，可將原來(lái)的字符串分解為較小的串再進(jìn)基于字符串匹配的分詞，從而減少匹配的錯(cuò)誤率)，然后對(duì)斷句結(jié)果運(yùn)用正向和逆向最大匹配算法依次進(jìn)行分詞處理，再對(duì)處理結(jié)果進(jìn)行比較，如果分詞結(jié)果不同

2、則表明可能存在歧義，就采用基于統(tǒng)計(jì)的方法進(jìn)行歧義處理，從而提高了分詞的準(zhǔn)確率。 本文設(shè)計(jì)的算法在兩個(gè)方面進(jìn)行了改進(jìn)，首先是在分詞詞典方面，將原來(lái)單一的詞典分為基本詞典和特征詞詞典兩個(gè)部分。改進(jìn)了基本分詞詞典在內(nèi)存中的存儲(chǔ)結(jié)構(gòu)，根據(jù)漢語(yǔ)中兩字詞的數(shù)量最多的特點(diǎn)和哈希索引表查找效率高的特點(diǎn)，采用了雙字哈希索引結(jié)構(gòu)將詞典中的詞按前兩個(gè)字為索引關(guān)鍵字進(jìn)行存儲(chǔ)，同時(shí)改進(jìn)了剩余字串的存儲(chǔ)方式，將詞剩余字串按詞長(zhǎng)逆序存放，提高了匹配查找的速度

3、。在匹配過(guò)程中結(jié)合特征詞詞典對(duì)歧義進(jìn)行探測(cè)和處理，提高了機(jī)械分詞的準(zhǔn)確率，大大提高了對(duì)姓名、地名和數(shù)量詞的正確切分率減少這些詞所引起的歧義數(shù)量節(jié)省了歧義處理時(shí)間，提高了分詞速度。其次是在統(tǒng)計(jì)分詞方面的改進(jìn)，本算法中利用統(tǒng)計(jì)方法處理未登錄詞和歧義。統(tǒng)計(jì)方法的最大缺點(diǎn)就是要求字串要在待分析的字符串中出現(xiàn)一次以上，所以基于統(tǒng)計(jì)的分詞方法的分全率和準(zhǔn)確性比較低，針對(duì)這一缺點(diǎn)在歧義處理上，我們加入了一些對(duì)漢語(yǔ)語(yǔ)言分析所得的規(guī)則，來(lái)彌補(bǔ)單純的統(tǒng)計(jì)分