利用部分標注數(shù)據(jù)提高中文分詞準確率的研究.pdf

1、近幾年，統(tǒng)計中文分詞已經(jīng)成為學(xué)術(shù)界研究的主流并且在標注數(shù)據(jù)豐富的新聞領(lǐng)域取得了很好的性能。但是，在非新聞領(lǐng)域，特別是標注數(shù)據(jù)較少的領(lǐng)域，統(tǒng)計中文分詞的性能仍舊差強人意。人工標注的分詞數(shù)據(jù)較難獲得，同時互聯(lián)網(wǎng)上有大量含有潛在切分信息的數(shù)據(jù)，比如詞典、百科知識庫的。為了利用這些數(shù)據(jù)提高統(tǒng)計中文分詞在非新聞領(lǐng)域的性能，本文采用不同的方法將不同類型的數(shù)據(jù)使用一種統(tǒng)一的形式——部分標注數(shù)據(jù)進行表示。本文使用三種不同的統(tǒng)計分詞模型對完整標注和部分標

2、注數(shù)據(jù)同時進行建模，他們分別是：基于字的結(jié)構(gòu)化感知器模型，基于詞的結(jié)構(gòu)化感知器模型以及基于字的條件隨機場模型。本文在中文賓州樹庫（CTB）訓(xùn)練數(shù)據(jù)上構(gòu)造部分標注數(shù)據(jù)并進行實驗比較三種模型的性能。實驗表明，三種模型都能夠利用部分標注數(shù)據(jù)獲得中文分詞性能的提升，而基于字的條件隨機場模型提升效果最大。同時，本文在網(wǎng)絡(luò)小說測試數(shù)據(jù)以及SIGHAN Bakeoff2010領(lǐng)域適應(yīng)分詞評測數(shù)據(jù)上進行實驗，分析本文構(gòu)造的部分標注數(shù)據(jù)對于統(tǒng)計中文分詞在