漢語逗號與冒號的自動分類識別研究.pdf

1、標(biāo)點(diǎn)符號研究是篇章分析中最基本的一個研究任務(wù)。有效識別標(biāo)點(diǎn)符號在句子中的作用,是篇章分析研究的一個關(guān)鍵。因此,標(biāo)點(diǎn)符號識別是一項(xiàng)很有意義的研究工作。本文針對標(biāo)點(diǎn)符號多元分類的自動識別問題進(jìn)行了深入的研究,主要內(nèi)容包括以下三個方面：
　　⑴提出了一種基于句子的分詞與詞性標(biāo)注信息進(jìn)行漢語逗號自動分類的方法。核心工作是特征的篩選與抽取。我們分別采用最大熵模型和CRF模型構(gòu)建逗號分類器,實(shí)現(xiàn)對漢語逗號的七元分類與識別。實(shí)驗(yàn)結(jié)果顯示,使用C

2、RF模型的識別正確率要高于使用最大熵模型的識別正確率,且這兩種模型的分類精度都非常接近基于句法分析方法的分類精度,證明本文提出的方法是可行的。
　?、铺岢隽艘环N針對漢語冒號的標(biāo)注體系與識別方法。本文收集了含有大量漢語冒號的語料,并在對漢語冒號的使用方法進(jìn)行統(tǒng)計(jì)與分析后,制定了漢語冒號的七元分類的分類標(biāo)準(zhǔn),然后在分詞與詞性標(biāo)注的語料上,進(jìn)行漢語冒號七元分類標(biāo)簽的人工標(biāo)注。本文使用規(guī)則法和最大熵模型法實(shí)現(xiàn)冒號的自動分類與識別,并將基于

3、規(guī)則法進(jìn)行冒號自動分類與識別的實(shí)驗(yàn)作為本文的基準(zhǔn)系統(tǒng)。實(shí)驗(yàn)結(jié)果表明,基于最大熵模型的自動識別正確率明顯高于基準(zhǔn)系統(tǒng)的自動識別正確率。
　　⑶研究了通過添加其他標(biāo)點(diǎn)符號的分類標(biāo)簽作為新特征的方法,來提高漢語逗號自動分類與識別的正確率。通過對CTB6.0語料的統(tǒng)計(jì)與分析發(fā)現(xiàn),漢語冒號和分號都對逗號的自動分類識別結(jié)果存在影響。經(jīng)實(shí)驗(yàn)驗(yàn)證:分別添加漢語冒號與分號分類標(biāo)簽作為新特征時,可以不同程度的提高漢語逗號七元分類的自動識別正確率,當(dāng)同