中文分詞算法研究.pdf

1、中文分詞技術(shù)是中文信息處理中的重要環(huán)節(jié)，中文分詞算法與中文分詞系統(tǒng)的性能緊密相關(guān)。目前的分詞算法可以分為基于字符串匹配的分詞算法、基于規(guī)則的分詞算法以及基于統(tǒng)計的分詞算法三種。 中文分詞技術(shù)的重點和難點是歧義排除和未登錄詞的識別。本文對這兩個問題作了介紹并分析討論了 FMM 算法、最少分詞法、最大概率分詞法、隱馬爾可夫模型(HMM)、蟻群算法(Ant Colony Algorithm)，并著重對蟻群分詞算法作了深入的分析和研究。

2、描述了蟻群分詞算法的收斂性，在不考慮參數(shù)α、β的影響下，討論了交集型歧義字段和組合型歧義字段的收斂性，接著討論了參數(shù)α、β的選取對蟻群算法的影響，得到在中文分詞算法研究中蟻群算法處理交集型和組合型歧義字段的效果并不理想的結(jié)論。并且該算法并沒有解決未登錄詞的識別問題。這些都說明了現(xiàn)在所提出的蟻群分詞算法只是將蟻群算法用于中文分詞的簡單嘗試，要想將蟻群算法真正高效率的用于分詞還需要做更進一步的研究。對中、科院漢語詞法分析系統(tǒng)ICTCLAS采