中文詞性標(biāo)注中異構(gòu)數(shù)據(jù)問(wèn)題研究.pdf

1、本文主要研究中文詞性標(biāo)注中異構(gòu)數(shù)據(jù)問(wèn)題。中文分詞和詞性標(biāo)注是中文自然語(yǔ)言處理的基礎(chǔ)任務(wù)，句法分析和語(yǔ)義分析建立在這些基礎(chǔ)任務(wù)之上，大量的系統(tǒng)也依賴于這些基礎(chǔ)任務(wù)的效果，比如對(duì)話系統(tǒng)和檢索系統(tǒng)中會(huì)用到分詞算法，信息抽取、關(guān)鍵詞提取等算法常利用詞性標(biāo)注的結(jié)果。隨著研究人員的增加、工業(yè)界的發(fā)展以及互聯(lián)網(wǎng)的普及，出現(xiàn)了大量的異構(gòu)數(shù)據(jù)和語(yǔ)料。本文主要從兩個(gè)方面研究這些異構(gòu)數(shù)據(jù):目標(biāo)數(shù)據(jù)的異構(gòu)問(wèn)題和訓(xùn)練語(yǔ)料數(shù)據(jù)的異構(gòu)問(wèn)題。
　　目標(biāo)數(shù)據(jù)的異構(gòu)

2、問(wèn)題在詞性標(biāo)注任務(wù)中的主要體現(xiàn)在于標(biāo)注對(duì)象是異構(gòu)的。現(xiàn)今，互聯(lián)網(wǎng)絡(luò)的流行、各國(guó)文化的融合等因素使得中文文章和對(duì)話中常常摻有少量的外文比如英文單詞，尤其在電子郵件和互聯(lián)網(wǎng)的博客與社交網(wǎng)絡(luò)中。因此，分析研究中英文混合文本就成為了一個(gè)重要且富有挑戰(zhàn)的工作。本文研究了對(duì)中英文混合文本這樣的異構(gòu)數(shù)據(jù)進(jìn)行詞性標(biāo)注的方法。因?yàn)槿鄙贅?biāo)注好的標(biāo)準(zhǔn)人工語(yǔ)料，大部分詞性標(biāo)注方法都將英文等外文簡(jiǎn)單的標(biāo)注為“外文”，這樣不利于后續(xù)的句法和語(yǔ)義的分析。所以本文提供

3、了一個(gè)基于動(dòng)態(tài)特征的詞性標(biāo)注方法，它能更好的利用詞級(jí)別的特征，增強(qiáng)中英文混合文本的標(biāo)注效果。本文使用人工合成數(shù)據(jù)的方法解決了缺少混合文本人工標(biāo)注語(yǔ)料的問(wèn)題，合成數(shù)據(jù)時(shí)使用的“統(tǒng)一標(biāo)簽”也能減少未登錄詞對(duì)于算法的影響。實(shí)驗(yàn)表明本文的方法在中英文混合文本上相比傳統(tǒng)的序列標(biāo)注方法取得了更好的準(zhǔn)確率，即使在純中文文本上也取得了一定的提高。
　　訓(xùn)練數(shù)據(jù)的異構(gòu)問(wèn)題主要體現(xiàn)在如何更好的利用現(xiàn)有的大量異構(gòu)語(yǔ)料提升詞性標(biāo)注算法的效果。如今，越來(lái)越

4、多的研究人員被中文分詞和詞性標(biāo)注中異構(gòu)人工標(biāo)注語(yǔ)料集的相關(guān)問(wèn)題所吸引。本文提出了一個(gè)基于異構(gòu)人工標(biāo)注數(shù)據(jù)集的中文分詞和詞性標(biāo)注的統(tǒng)一模型。我們首先在兩個(gè)異構(gòu)人工標(biāo)注數(shù)據(jù)集CTB（Penn中文樹(shù)庫(kù)）和PPD（北大人民日?qǐng)?bào)語(yǔ)料）間自動(dòng)建立一個(gè)松散的不確定的映射，然后將異構(gòu)語(yǔ)料上的中文分詞和詞性標(biāo)注作為兩個(gè)相互關(guān)聯(lián)的任務(wù)，在兩個(gè)異構(gòu)語(yǔ)料上同步訓(xùn)練我們的模型。實(shí)驗(yàn)證明本文的方法利用兩個(gè)異構(gòu)語(yǔ)料間的共通的信息，可以同時(shí)增強(qiáng)在兩種異構(gòu)語(yǔ)料上的分詞和