基于詞庫(kù)與貝葉斯定理的中文單詞分詞方法的研究.pdf

1、近幾十年以來(lái),經(jīng)過(guò)國(guó)內(nèi)外廣大專家學(xué)者研究人員的努力,現(xiàn)在已經(jīng)形成了一些常用的中文分詞算法,最常見的包括了基于詞典的機(jī)械中文分詞算法、基于統(tǒng)計(jì)的中文分詞算法和基于理解的中文分詞算法。這些算法都有其各自的優(yōu)勢(shì)與局限性,基于詞庫(kù)的機(jī)械分詞算法實(shí)現(xiàn)簡(jiǎn)單運(yùn)行效率高,但對(duì)新詞的識(shí)別效果差;基于理解的中文分詞算法難以達(dá)到應(yīng)用的程度,主要還是以理論研究為主;基于統(tǒng)計(jì)的中文分詞算法對(duì)新詞的處理效果好,但是算法時(shí)空開銷大,對(duì)常用詞識(shí)別效果差。目前已有的系統(tǒng)

2、主要都是基于這三種常用算法來(lái)實(shí)現(xiàn)的,但是由于漢語(yǔ)語(yǔ)言的復(fù)雜性以及隨著時(shí)代變化不斷涌現(xiàn)出的各種新詞匯,這些系統(tǒng)尚不能完全滿足實(shí)際應(yīng)用系統(tǒng)的需求。
　　在算法研究的理論基礎(chǔ)上,實(shí)現(xiàn)了基于詞庫(kù)與貝葉斯定理的分詞算法。構(gòu)建了一個(gè)包括了常用詞庫(kù)與其他特征詞庫(kù)的分詞詞庫(kù),而且能夠根據(jù)語(yǔ)料庫(kù)的文本來(lái)對(duì)詞庫(kù)進(jìn)行更新,從而提高了分詞詞庫(kù)的質(zhì)量。通過(guò)采用Hash表與鏈表結(jié)合的方式來(lái)存儲(chǔ)詞庫(kù),來(lái)滿足算法對(duì)詞庫(kù)數(shù)據(jù)的快速查找的需求。將傳統(tǒng)的貝葉斯定理靈活

3、地應(yīng)用于中文分詞上,得到計(jì)算分詞方案概率的公式,并根據(jù)分詞詞庫(kù)里中文詞匯的概率數(shù)據(jù)來(lái)計(jì)算分詞方案的概率。歧義問(wèn)題的處理是中文分詞的一個(gè)比較大的技術(shù)難點(diǎn),對(duì)于這個(gè)問(wèn)題的處理,算法采用的是二元模型,能有效解決這個(gè)問(wèn)題。經(jīng)過(guò)這些處理,使得算法能夠充分汲取各種常見算法的優(yōu)勢(shì),避免各自的局限性,對(duì)常用詞匯以及新詞的處理效果都比較好。
　　在各種測(cè)試條件下的測(cè)試結(jié)果表明,該算法具有良好的分詞效果,對(duì)歧義處理、未登錄詞的處理方面效果較好,基本可