基于中文維基百科的命名實體消歧方法研究.pdf

1、詞義消歧是自然語言處理中的基礎(chǔ)性研究課題，而命名實體消歧是詞義消歧的一個重要分支。命名實體的歧義是指一個命名實體的指稱項可以對應(yīng)多個實體概念。命名實體消歧指利用文本上下文信息或者其它外部知識庫，確定這個指稱項具體指向的實體概念的過程?，F(xiàn)有的命名實體消歧研究主要是面向英文命名實體的，在中文領(lǐng)域中，針對命名實體消歧的研究起步較晚，研究成果也很少。目前命名實體消歧的主要方法有基于上下文的文本向量聚類方法，基于社會網(wǎng)絡(luò)的方法和基于分類的方法。傳

2、統(tǒng)的利用待消歧實體上下文的向量空間聚類方法只考慮了命名實體上下文之間的詞語共現(xiàn)情況，而忽略了文本間詞與詞之間的關(guān)聯(lián)度以及相互的語義關(guān)系?；谏鐣W(wǎng)絡(luò)的方法與基于分類的方法都依賴于外部知識庫，因中文的知識庫相對英文來說比較匱乏，且相對覆蓋面太小，對于消歧的領(lǐng)域也相對狹窄。
　　針對漢語命名實體消歧研究的不足與傳統(tǒng)方法的缺點，本文提出了基于中文維基百科的命名實體消歧方法。維基百科（Wikipedia）是目前世界上最大的也是使用最廣泛的

3、人類百科全書，它擁有多個國家語言的版本，更大的覆蓋率，豐富的語義知識和隨時更新的內(nèi)容。在詳細(xì)地介紹了中文維基百科的體系結(jié)構(gòu)后，本文分別利用中文維基百科中的頁面信息與語義關(guān)系兩種特征來進(jìn)行漢語命名實體的消歧。
　　在基于中文維基百科頁面信息的消歧方法中，以待消歧實體在維基百科消歧頁中包含的詞義選項作為候選的命名實體概念，利用維基百科解釋頁面中的鏈接與摘要信息作為候選概念的維基特征，利用命名實體上下文信息作為文本特征，并通過余弦相似度

4、計算得到與待消歧實體文本特征最相似的候選概念。
　　在基于中文維基百科語義的消歧方法中，在通過維基百科消歧頁提取出候選的命名實體概念后，利用中文維基百科中的類別結(jié)構(gòu)與頁面之間的鏈接關(guān)系之間包含的廣泛的語義關(guān)系，分別提出了計算待消歧實體與候選概念文本中的類別相似度與詞語之間的相關(guān)度兩種不同的消歧方法，來確定待消歧實體最終的實體概念。
　　在介紹了方法后，分別使用CLP-2012會議提供的測試語料和維基官網(wǎng)下載的數(shù)據(jù)庫文件對本文