漢語嵌套命名實(shí)體識別方法研究.pdf

1、隨著近幾年互聯(lián)網(wǎng)的飛速發(fā)展,網(wǎng)絡(luò)中各種各樣的電子文本信息急劇膨脹。如何迅速、有效地從這些海量的、非結(jié)構(gòu)化的文本中獲取我們所需要的信息和知識已經(jīng)成為自然語言處理領(lǐng)域的一個(gè)研究熱點(diǎn)。作為信息抽取的重要子任務(wù),命名實(shí)體識別在許多自然語言處理應(yīng)用領(lǐng)域起著十分重要的作用,其主要目的是識別文本或句子中表示人名、地名、機(jī)構(gòu)名以及時(shí)間日期等信息的短語。
　　 本文引入實(shí)體語素概念,在機(jī)器學(xué)習(xí)框架融合實(shí)體內(nèi)部結(jié)構(gòu)特征和外部上下文信息研究人名、地名

2、和機(jī)構(gòu)名等命名實(shí)體識別方法,重點(diǎn)解決地名和機(jī)構(gòu)名當(dāng)中存在的大量復(fù)雜的、含有嵌套結(jié)構(gòu)的命名實(shí)體識別問題。具體地,本文從以下三個(gè)方面展開研究:
　　 首先,采用基于機(jī)器學(xué)習(xí)方法構(gòu)建漢語命名實(shí)體的雙層模型,并通過實(shí)驗(yàn)對最大熵和條件隨機(jī)場組合成的四種雙層模型進(jìn)行了對比測試。結(jié)果表明基于條件隨機(jī)場的雙層模型對嵌套命名實(shí)體的識別效果最好。在此基礎(chǔ)上,對雙層模型的錯(cuò)誤識別結(jié)果進(jìn)行了分析,進(jìn)而提出一種基于互信息的后處理方法,對復(fù)雜的命名實(shí)體進(jìn)行

3、糾錯(cuò)處理,很大程度上解決了嵌套命名實(shí)體邊界識別錯(cuò)誤問題。
　　 其次,將非嵌套的簡單實(shí)體和嵌套的復(fù)雜實(shí)體分開分別處理,同時(shí)以字和詞相結(jié)合的方式,深入剖析多層嵌套命名實(shí)體的結(jié)構(gòu)特點(diǎn),并以此為基礎(chǔ)改進(jìn)基于條件隨機(jī)場的雙層模型結(jié)構(gòu),以進(jìn)一步提高嵌套命名實(shí)體識別效果。
　　 最后,通過語料庫考察了漢語嵌套命名實(shí)體與實(shí)體語素之間的關(guān)系,并以命名實(shí)體語素為基礎(chǔ),通過Logistic回歸模型中Logistic變換方法篩選出的嵌套命名實(shí)