基于局部Viterbi算法的中文分詞研究與應(yīng)用.pdf

1、中文分詞是中文信息處理領(lǐng)域的基礎(chǔ)課題，也是中文信息處理發(fā)展的瓶頸之一，其中對(duì)歧義字段的處理是影響分詞精度的關(guān)鍵，國(guó)內(nèi)外許多研究人員在這一領(lǐng)域都進(jìn)行了深入的研究，但就目前現(xiàn)狀來看，仍不能滿足實(shí)際應(yīng)用的需要。
　　 本文針對(duì)分詞中的三個(gè)方面——詞典結(jié)構(gòu)、歧義處理、地名識(shí)別——進(jìn)行了深入的研究。在詞典結(jié)構(gòu)方面，通過對(duì)詞典中各個(gè)詞語(yǔ)進(jìn)行統(tǒng)計(jì)，最終形成以詞首為唯一索引，與之可能成詞的字符有序無(wú)重復(fù)索引的網(wǎng)格數(shù)據(jù)結(jié)構(gòu)。通過逐級(jí)索引的結(jié)構(gòu)，可

2、以大大提高遍歷詞典的速度；在歧義處理方面，對(duì)N-Best最優(yōu)路徑和Viterbi算法的模型進(jìn)行深入研究并結(jié)合本文的具體應(yīng)用作出相應(yīng)改進(jìn)，主要體現(xiàn)在改進(jìn)了Viterbi算法對(duì)全路徑的逐一計(jì)算，而是先通過前向最大匹配與逆向最大匹配對(duì)待分詞文本進(jìn)行預(yù)處理并獲得粗分結(jié)果集，其次，利用Viterbi算法對(duì)此粗分結(jié)果集進(jìn)行詞頻信息統(tǒng)計(jì)，降低了算法復(fù)雜度并提高了算法效率，同時(shí)，根據(jù)Viterbi計(jì)算出的最優(yōu)路徑達(dá)到了消除歧義的目的；在地名識(shí)別方面，由

3、于地名識(shí)別依據(jù)多個(gè)地名詞典進(jìn)行匹配，因此本文所設(shè)計(jì)的中文分詞系統(tǒng)，在對(duì)待分詞文本進(jìn)行粗分處理時(shí)，標(biāo)記了可能為地名的詞語(yǔ)，而不是對(duì)所有詞語(yǔ)均啟動(dòng)地名識(shí)別模塊，從而在一定程度上使得地名處理與分詞速率達(dá)到一個(gè)比較理想的均衡狀態(tài)；
　　 在系統(tǒng)測(cè)試階段，本文針對(duì)普通文本、地名文本、綜合文本分別進(jìn)行了分詞正確率測(cè)試與分詞速率測(cè)試，其中普通文本的分詞平均正確率與分詞平均速率分別為95.6％和1234.6k/s，地名文本的分詞平均正確率與分詞