中文逗號(hào)分類方法研究.pdf

1、在自然語(yǔ)言處理中對(duì)于標(biāo)點(diǎn)符號(hào)的研究越來(lái)越重視，其中，逗號(hào)在漢語(yǔ)及大多數(shù)外語(yǔ)中都是使用頻率最高的標(biāo)點(diǎn)符號(hào)。逗號(hào)的用途廣泛、用法靈活，因此很難掌握。本文主要對(duì)中文逗號(hào)在句子中的作用進(jìn)行了研究，重點(diǎn)研究了逗號(hào)在中文分句和基本語(yǔ)篇單元識(shí)別中的分類方法。具體的研究?jī)?nèi)容歸納如下：
　?。?）對(duì)CTB6.0（Penn Chinese Treebank）的語(yǔ)料進(jìn)行了詳細(xì)的統(tǒng)計(jì)和分析，歸納總結(jié)了兩種逗號(hào)分類的標(biāo)準(zhǔn)。分類標(biāo)準(zhǔn)之一是將逗號(hào)視為句子的邊界

2、，將逗號(hào)分成兩類：可以分句的逗號(hào)EOS（End Of a Sentence）和不可以分句的逗號(hào)Non-EOS（Not the End Of a Sentence）。另一種分類標(biāo)準(zhǔn)是將逗號(hào)分為七類，并將其視為基本語(yǔ)篇單元邊界的同時(shí)標(biāo)記逗號(hào)分隔單元之間的關(guān)系。
　　（2）提出了一個(gè)基于層次結(jié)構(gòu)的中文分句方法。該方法首先根據(jù)各種有效句法的特征對(duì)逗號(hào)進(jìn)行第一層分類；在此基礎(chǔ)上，對(duì)第一層分類器中可信度低的樣本利用新的特征進(jìn)行第二層分類。實(shí)驗(yàn)

3、證明基于層次結(jié)構(gòu)的中文分句識(shí)別方法取得了良好的效果。
　　（3）提出了基于逗號(hào)的中文基本語(yǔ)篇單元識(shí)別及其優(yōu)化方法。首先，研究了用于基本語(yǔ)篇單元識(shí)別的有效句法特征，并分別用最大熵模型和條件隨機(jī)域模型進(jìn)行識(shí)別。其次，進(jìn)一步從以上2個(gè)分類器中捕獲全局與局部特征，用序列化和統(tǒng)計(jì)相結(jié)合的方法來(lái)提高基本語(yǔ)篇單元識(shí)別的性能。實(shí)驗(yàn)表明，本文提出的方法提高了系統(tǒng)的性能。
　　本文提出了一種基于逗號(hào)的中文分句和基本語(yǔ)篇單元識(shí)別方法，實(shí)驗(yàn)證明了該