基于特征向量的名詞短語指代消解研究.pdf

1、指代消解是自然語言處理中的一個重要問題，包括專有名詞、普通名詞、代詞的指代識別。為了解決文本中的指代問題，本文采用了基于特征向量的機器學(xué)習(xí)方法，將指代問題轉(zhuǎn)換成一個分類問題，實現(xiàn)了一個基于機器學(xué)習(xí)的針對所有名詞短語的指代消解平臺。 本文通過對英文原始語料進行詞性標(biāo)注、命名實體識別和名詞短語識別等一系列預(yù)處理，選取了多個有效特征及其組合，分別采用最大熵和SVM兩種分類算法對名詞短語進行分類，并用MUC Scorer的評測程序進行評

2、測，在MUC-6語料庫上分別得到了F值68．0和68．1的結(jié)果。為了驗證系統(tǒng)是否具有可移植性，本文又選用了ACE2003語料庫，系統(tǒng)在采用SVM分類器的情況下，在BNEWS，NPAPER和NWIRE三個類別的數(shù)據(jù)源上，F(xiàn)值分別達(dá)到了53．1，58．4和54．2。從實驗結(jié)果上看，本文所介紹的英文指代消解系統(tǒng)優(yōu)于同類型的其它平臺。 在英文指代消解的基礎(chǔ)上，本文實現(xiàn)了中文指代消解的系統(tǒng)框架，對基于機器學(xué)習(xí)的中文指代消解進行了嘗試。系統(tǒng)

3、采用ACE2005中文語料作為實驗數(shù)據(jù)，從標(biāo)注文本中抽取了部分主要特征，并通過一些簡單規(guī)則識別了另外一些特征，隨機抽取BNEWS語料中200篇文章作為訓(xùn)練集，98篇文章作為測試集，F(xiàn)值達(dá)到了70．83。 特別是，本文系統(tǒng)深入地研究了特征向量及其取值方式對基于機器學(xué)習(xí)的指代消解的影響；不同機器學(xué)習(xí)方法對指代消解的影響；系統(tǒng)對不同語料的消解能力；中英文指代消解的相同和不同之處。通過對比實驗結(jié)果，檢查實驗錯誤，分析了中英文指代消解系統(tǒng)