中文自動分詞中的歧義消解算法研究.pdf

1、信息網(wǎng)絡(luò)技術(shù)的飛速發(fā)展使信息的發(fā)布和共享超越了時空限制,中文信息處理技術(shù)逐漸成為熱點研究課題。中文自動分詞是中文信息處理的基礎(chǔ),詞典算法的設(shè)計直接關(guān)系著分詞系統(tǒng)的切分速度,歧義字段又是影響分詞系統(tǒng)切分精度的重要因素。
　　 本課題針對中文分詞系統(tǒng)的兩個重要指標:切分速度和切分精度兩個方面進行了深入的研究。在切分速度方面,給出了一種優(yōu)化的TRIE索引樹詞典機制,設(shè)計并實現(xiàn)了中文分詞詞典；在切分精度方面,給出了兩種消除歧義字段的算法

2、,為解決中文自動分詞問題提供了一種新的途徑。
　　 論文首先對中文分詞相關(guān)技術(shù)作了簡單介紹,分析了各種自動分詞方法的優(yōu)缺點,介紹了交集型歧義和組合型歧義的定義及識別方法。然后對語料庫以及分詞中的詞典機制進行了分析和研究,在語料庫的建立環(huán)節(jié)采用關(guān)系數(shù)據(jù)庫來管理語料庫。在詞典生成環(huán)節(jié)采用基于優(yōu)化的TRIE索引樹的詞典機制,設(shè)計并實現(xiàn)了中文分詞詞典,有效地減少了詞典空間,同時在查詢速度上也有了較大幅度的提升。
　　 論文主體部

3、分對分詞中的歧義消除算法作了研究。在分析了常見消歧算法的優(yōu)缺點后,給出了兩種消除歧義的核心算法。一種是基于條件隨機場模型消除交集型歧義的算法,該算法將交集型歧義切分由二值分類問題轉(zhuǎn)化為序列標注問題,不僅能夠處理任意鏈長的歧義字串,而且能夠利用上下文信息,在不同的上下文環(huán)境中對真歧義作出正確的切分。另一種是基于C-支持向量機和規(guī)則相結(jié)合來消除組合型歧義的算法。該算法的主要思想是利用C-支持向量機分類模型結(jié)合上下文規(guī)則庫中的規(guī)則來對組合型歧