命名實(shí)體識(shí)別研究及其應(yīng)用.pdf

1、本文主要介紹一個(gè)基于統(tǒng)計(jì)的英文命名實(shí)體識(shí)別系統(tǒng)以及所采用的模型和它的實(shí)際應(yīng)用。命名實(shí)體識(shí)別是信息抽取的一種形式，它的主要任務(wù)是將文本中的詞分為人名、地名、組織名等類型。該任務(wù)對(duì)于搜索引擎，問答系統(tǒng)有相當(dāng)重要的作用，也是更加復(fù)雜的信息抽取任務(wù)的基礎(chǔ)。 對(duì)命名實(shí)體識(shí)別系統(tǒng)來說，有兩個(gè)重要的問題。一是系統(tǒng)的性能，二是系統(tǒng)的可擴(kuò)展性。一個(gè)性能良好的命名實(shí)體識(shí)別系統(tǒng)對(duì)基于其上的各種自然語言處理應(yīng)用有著相當(dāng)重要的作用。可擴(kuò)展性要求命名實(shí)體識(shí)

2、別系統(tǒng)能以盡量小的代價(jià)適應(yīng)不同的語料與任務(wù)甚至不同的語言，．并保持良好的性能。本文提出了解決這兩個(gè)問題一些方法。 我們分別采用最大熵和條件隨機(jī)場這兩種基于統(tǒng)計(jì)的模型建立了系統(tǒng)。利用一些文本上易于獲取的特征，包括文本中單詞的詞匯信息，詞性標(biāo)記和短語標(biāo)記，局部上下文，命名實(shí)體詞典和語料特有的結(jié)構(gòu)信息。系統(tǒng)在CoNLL會(huì)議命名實(shí)體識(shí)別特別興趣組所提供的英文語料上進(jìn)行了一系列實(shí)驗(yàn)。實(shí)驗(yàn)表明，基于這兩種統(tǒng)計(jì)模型的命名實(shí)體識(shí)別系統(tǒng)可以較好的

3、對(duì)英文語料進(jìn)行識(shí)別。條件隨機(jī)場模型相對(duì)于最大熵在使用同樣特征的情況下取得了相對(duì)更好的效果。 在此基礎(chǔ)上，我們利用未標(biāo)注語料針對(duì)第二個(gè)問題做了進(jìn)一步的實(shí)驗(yàn)。在完全只利用未標(biāo)注語料和詞典來產(chǎn)生標(biāo)注語料進(jìn)行訓(xùn)練的情況下，命名實(shí)體識(shí)別系統(tǒng)取得了一個(gè)可以接受的結(jié)果。證明當(dāng)對(duì)命名實(shí)體類別進(jìn)行擴(kuò)展時(shí)，在沒有標(biāo)注語料的情況下，類似的方法可以有效的減少人工標(biāo)注工作，并用于建立一個(gè)擴(kuò)展類型的命名實(shí)體識(shí)別系統(tǒng)。 最后，我們將命名實(shí)體識(shí)別系統(tǒng)應(yīng)