基于最大熵模型特征選擇算法的中文分詞增量學習研究.pdf

1、隨著信息化社會的發(fā)展，網(wǎng)絡的不斷普及，中文信息處理技術的應用越來越廣泛。中文分詞技術作為中文信息處理技術的基礎，已經(jīng)成為制約中文信息處理技術發(fā)展的一項關鍵和核心技術。目前，中文分詞方法主要有兩大類，一類是基于規(guī)則的方法，另一類是基于統(tǒng)計的方法，此外還有一些綜合方法和其它方法。雖然這些方法大大推動了中文分詞研究的發(fā)展，但在實際應用中，仍然面臨著以下三個常見問題：分詞規(guī)范問題、歧義問題、未登錄詞問題。
　　 目前，已經(jīng)應用于中文分詞

2、技術的機器學習算法有簡單貝葉斯、最大熵、神經(jīng)網(wǎng)絡、支持向量機、遺傳算法等，這些算法在中文分詞的應用中都有非常好的效果。但是，這些算法仍然難以應對與日俱增的數(shù)據(jù)規(guī)模。當出現(xiàn)新增的訓練數(shù)據(jù)樣本時，算法為了適應新的數(shù)據(jù)樣本，必須將所有的數(shù)據(jù)重新學習一遍，以建立新的計算模型。這樣，算法浪費了大量的時間和空間。因此，本文將最大熵模型特征選擇算法引入到中文分詞技術的研究中，以應對訓練語料庫規(guī)模的日益增大，適應增量學習的要求。
　　 本文所作

3、的主要工作如下：
　　 (1)研究增量學習的基本理論和基本算法。
　　 (2)研究信息論中條件最大熵的理論，改進最大熵模型的特征選擇算法以適應增量學習的要求。
　　 (3)研究交集型歧義和組合型歧義的特征模板的構(gòu)建，并且利用構(gòu)建的特征模板進行特征選擇，選出有代表性的、不冗余的有效特征。
　　 (4)利用模型進行交集型和組合型歧義字段消歧處理。
　　 (5)基于最大熵模型特征選擇算法構(gòu)建一個中文分詞