命名實(shí)體語義消歧方法的研究.pdf

1、詞義消歧(W SD)技術(shù)是計(jì)算機(jī)根據(jù)文本距離、上下文語境等特征來自動(dòng)獲取并確認(rèn)詞語的意義。詞義歧義是指一詞多義,即一個(gè)詞在不同的上下文中有不同的詞義,也稱為歧義詞。而詞義消歧的目標(biāo)就是確定文本中的歧義詞的確切含義。詞義消歧一直是計(jì)算語言學(xué)領(lǐng)域基礎(chǔ)性關(guān)鍵性的研究課題。作為一個(gè)中間任務(wù),消歧直接關(guān)系到文本分類、信息檢索、機(jī)器翻譯、語音識(shí)別自然等語言處理系統(tǒng)的效果和效率。20世紀(jì)90年代以來,隨著語料庫的興起,基于語料庫的詞義消歧技術(shù)占主導(dǎo)地

2、位。其中大部分工作是人們通過對(duì)語料庫進(jìn)行的有監(jiān)督或者無監(jiān)督學(xué)習(xí)來達(dá)到消歧目的。由于有監(jiān)督詞義消歧需要對(duì)訓(xùn)練語料庫進(jìn)行詞義的人工標(biāo)注,較為費(fèi)時(shí)和費(fèi)力,因此無監(jiān)督學(xué)習(xí)方法是目前的主流。
　　而命名實(shí)體歧義指的是一個(gè)命名實(shí)體指稱項(xiàng)可對(duì)應(yīng)到多個(gè)真實(shí)世界實(shí)體(或稱實(shí)體概念)的問題。命名實(shí)體消歧任務(wù)與普通的詞義消歧任務(wù)有很多相似之處,但是有其自身的難點(diǎn):命名實(shí)體消歧目標(biāo)難以確定、指稱項(xiàng)多樣性、指稱項(xiàng)歧義性。命名實(shí)體消歧任務(wù)分為單語種命名實(shí)體消

3、歧與多語種命名實(shí)體消歧。單語種命名實(shí)體消歧在國內(nèi)外均有很長時(shí)間的研究。而多語種命名實(shí)體消歧,特別是基于維基百科的多語種命名實(shí)體消歧,在當(dāng)前研究也是剛剛起步,已有的方法較單語種命名實(shí)體消歧相比更為復(fù)雜,效果也離令人滿意有著比較遙遠(yuǎn)的距離。因此,這是一個(gè)非常有價(jià)值的研究方向。
　　本文通過維基百科官方接口,獲取了中英文維基百科數(shù)據(jù)備份,在本地使用MySQL生成了維基百科數(shù)據(jù)庫。在算法方面,本文利用三個(gè)特征項(xiàng):文本相似度、實(shí)體關(guān)聯(lián)度及類