命名實體語義消歧方法的研究.pdf

1、詞義消歧(W SD)技術(shù)是計算機根據(jù)文本距離、上下文語境等特征來自動獲取并確認詞語的意義。詞義歧義是指一詞多義,即一個詞在不同的上下文中有不同的詞義,也稱為歧義詞。而詞義消歧的目標(biāo)就是確定文本中的歧義詞的確切含義。詞義消歧一直是計算語言學(xué)領(lǐng)域基礎(chǔ)性關(guān)鍵性的研究課題。作為一個中間任務(wù),消歧直接關(guān)系到文本分類、信息檢索、機器翻譯、語音識別自然等語言處理系統(tǒng)的效果和效率。20世紀(jì)90年代以來,隨著語料庫的興起,基于語料庫的詞義消歧技術(shù)占主導(dǎo)地

2、位。其中大部分工作是人們通過對語料庫進行的有監(jiān)督或者無監(jiān)督學(xué)習(xí)來達到消歧目的。由于有監(jiān)督詞義消歧需要對訓(xùn)練語料庫進行詞義的人工標(biāo)注,較為費時和費力,因此無監(jiān)督學(xué)習(xí)方法是目前的主流。
　　而命名實體歧義指的是一個命名實體指稱項可對應(yīng)到多個真實世界實體(或稱實體概念)的問題。命名實體消歧任務(wù)與普通的詞義消歧任務(wù)有很多相似之處,但是有其自身的難點:命名實體消歧目標(biāo)難以確定、指稱項多樣性、指稱項歧義性。命名實體消歧任務(wù)分為單語種命名實體消

3、歧與多語種命名實體消歧。單語種命名實體消歧在國內(nèi)外均有很長時間的研究。而多語種命名實體消歧,特別是基于維基百科的多語種命名實體消歧,在當(dāng)前研究也是剛剛起步,已有的方法較單語種命名實體消歧相比更為復(fù)雜,效果也離令人滿意有著比較遙遠的距離。因此,這是一個非常有價值的研究方向。
　　本文通過維基百科官方接口,獲取了中英文維基百科數(shù)據(jù)備份,在本地使用MySQL生成了維基百科數(shù)據(jù)庫。在算法方面,本文利用三個特征項:文本相似度、實體關(guān)聯(lián)度及類