基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)算法的漢語分詞系統(tǒng)的研究.pdf

1、在詞匯級的中文語言處理中，存在兩個(gè)基本的問題：其一是漢語自動(dòng)分詞，其二是中文命名實(shí)體識(shí)別。通常的系統(tǒng)都把這兩個(gè)任務(wù)分開處理，也就是不同任務(wù)使用不同的處理策略或兩個(gè)任務(wù)按時(shí)間順序先后被處理。我們認(rèn)為這兩個(gè)問題從本質(zhì)上說并不是獨(dú)立的，完全可以在一個(gè)系統(tǒng)里同時(shí)將其解決。在本文中，我們提出了一個(gè)統(tǒng)一的方法來實(shí)現(xiàn)漢語自動(dòng)分詞和中文命名實(shí)體識(shí)別。 統(tǒng)計(jì)語言模型已經(jīng)成功地應(yīng)用到很多的領(lǐng)域，例如語音識(shí)別領(lǐng)域、信息抽取領(lǐng)域和口語理解領(lǐng)域。特別是三

2、元語言模型在這些領(lǐng)域已被證實(shí)是相當(dāng)有效的。在本文中，我們提出了一種統(tǒng)一的統(tǒng)計(jì)語言模型方法用來漢語自動(dòng)分詞和中文命名實(shí)體識(shí)別，這種方法對基于詞的三元語言模型進(jìn)行了很好的擴(kuò)展。 本文旨在使用一個(gè)統(tǒng)一的方法解決兩個(gè)基本的自然語言處理問題：其一是漢語自動(dòng)分詞，其二是中文命名實(shí)體識(shí)別。我們提出了一種基于類的語言模型的方法，這種方法對于類的定義主要集中在六類：中國人名和外國人名，中國地名和外國地名，中國組織機(jī)構(gòu)名和外國組織機(jī)構(gòu)名。基于類的語

3、言模型包括兩個(gè)獨(dú)立的子模型：(1)～系列的命名實(shí)體語言模型，每個(gè)命名實(shí)體語言模型估計(jì)在給定類的情況下字符串的生成概率；(2)語境模型，語境模型估計(jì)類序列的生成概率。因此，我們所提出的基于類的語言模型提供了一個(gè)統(tǒng)計(jì)的框架來統(tǒng)一處理漢語自動(dòng)分詞和中文命名實(shí)體識(shí)別。初步的結(jié)果表明這種方法在與其它的已經(jīng)發(fā)表的基于機(jī)器學(xué)習(xí)的方法比較時(shí)是具有競爭力的。通過對北京大學(xué)2000年全年的標(biāo)注語料的訓(xùn)l練，漢語分詞的準(zhǔn)確率、召回率分別為96．0％和96．4