基于感知器算法的中文分詞增量系統(tǒng)設(shè)計與實現(xiàn).pdf

1、文本提出了一種基于感知器的中文分詞增量訓(xùn)練方法，可在訓(xùn)練好的模型基礎(chǔ)上添加目標(biāo)領(lǐng)域標(biāo)注數(shù)據(jù)繼續(xù)訓(xùn)練，解決了大規(guī)模切分?jǐn)?shù)據(jù)難于共享，源領(lǐng)域與目標(biāo)領(lǐng)域數(shù)據(jù)混合需要重新訓(xùn)練等問題。在CTB5.0新聞領(lǐng)域和誅仙小說領(lǐng)域的實驗表明，增量訓(xùn)練可以有效解決領(lǐng)域適應(yīng)問題。達(dá)到與傳統(tǒng)數(shù)據(jù)混合相類似的效果。進(jìn)一步的實驗分析表明，增量訓(xùn)練產(chǎn)生的模型遠(yuǎn)小于混合訓(xùn)練方式產(chǎn)生的模型，增量訓(xùn)練在小規(guī)模數(shù)據(jù)集上能夠更快速的完成訓(xùn)練。
　　針對基于感知器的中文分詞

2、模型過大問題，本文實現(xiàn)了一種啟發(fā)式的特征篩選方法，以迭代訓(xùn)練中參數(shù)的更新次數(shù)為閾值進(jìn)行特征篩選。這種方式有效的避免了自然語言處理中的長尾效應(yīng)，能夠更好的選擇有用特征。在基于感知器的中文分詞、詞性標(biāo)注、依存句法分析三個任務(wù)上的實驗表明，在準(zhǔn)確度幾乎不變的前提下，均可以使模型成倍的縮小。
　　基于增量訓(xùn)練算法和模型壓縮算法，本文實現(xiàn)了一個在線的個性化分詞服務(wù)系統(tǒng)。用戶可以上傳目標(biāo)領(lǐng)域詞典和訓(xùn)練語料，系統(tǒng)在后臺自動完成增量訓(xùn)練算法，為用