基于規(guī)則和條件隨機(jī)場(chǎng)的中文命名實(shí)體識(shí)別方法研究.pdf

1、命名實(shí)體識(shí)別的任務(wù)就是將文本中指定的實(shí)體名自動(dòng)識(shí)別出來，在自然語言處理領(lǐng)域，它是一項(xiàng)基礎(chǔ)性的研究工作，在信息抽取、信息檢索、機(jī)器翻譯、自動(dòng)問答領(lǐng)域有著非常廣泛的應(yīng)用，命名實(shí)體識(shí)別研究具有重要的理論意義和實(shí)踐價(jià)值。本文采用基于規(guī)則和條件隨機(jī)場(chǎng)模型(CRF)的方法來進(jìn)行中文命名實(shí)體識(shí)別研究。
　　本文深入分析了國(guó)內(nèi)外命名實(shí)體識(shí)別研究的相關(guān)技術(shù)，在分析和比較了基于規(guī)則的方法、基于隱馬爾可夫模型的方法、最大熵模型以及條件隨機(jī)場(chǎng)模型之后，提

2、出了采用基于規(guī)則和條件隨機(jī)場(chǎng)相結(jié)合的中文命名實(shí)體識(shí)別研究方案。
　　在命名實(shí)體識(shí)別過程中，由于數(shù)詞和時(shí)間詞的表達(dá)結(jié)構(gòu)較為規(guī)范，所以采用基于規(guī)則的方式來進(jìn)行識(shí)別;同時(shí)考慮到人名、地名和機(jī)構(gòu)名的不規(guī)則性，而采用條件隨機(jī)場(chǎng)模型，大量的命名實(shí)體識(shí)別研究表明，基于單個(gè)漢字提取上下文特征能夠取得更為豐富的特征值，所以在本文中以字為單位進(jìn)行文本切割，獲取每個(gè)字的上下文特征，然后采用條件隨機(jī)場(chǎng)進(jìn)行機(jī)器學(xué)習(xí)，最終實(shí)現(xiàn)對(duì)句子中包含的組織機(jī)構(gòu)名、人名和

3、地名的自動(dòng)識(shí)別。在模型的訓(xùn)練過程中，采用多種不同的模板進(jìn)行訓(xùn)練，選擇效果最佳的模板，這在一定程度上提高了實(shí)體識(shí)別的效果。本文主要的工作分為三點(diǎn):
　　1.采用人民日?qǐng)?bào)的語料庫，借用謝菲爾德大學(xué)的開源軟件GATE框架定義識(shí)別規(guī)則，自動(dòng)識(shí)別出語料中的時(shí)間詞和數(shù)詞。
　　2.采用條件隨機(jī)場(chǎng)模型，選取不同的特征，對(duì)不同的特征模板進(jìn)行比較選出最優(yōu)的一個(gè)，完成對(duì)組織名、人名、地點(diǎn)的識(shí)別，最后與正確的人工標(biāo)記結(jié)果進(jìn)行比較，測(cè)評(píng)出準(zhǔn)確率和召