基于貪心森林的微博實(shí)體鏈接方法研究.pdf

1、實(shí)體鏈接工作已經(jīng)取得了較多的關(guān)注，其工作目的是將文本中的實(shí)體指稱鏈接到知識(shí)庫中對(duì)應(yīng)的實(shí)體。大部分實(shí)體鏈接工作都是針對(duì)論壇或者博客的長文本信息，然而微博作為一種新的社交平臺(tái)，對(duì)這種短文本進(jìn)行實(shí)體鏈接又會(huì)面臨很多問題。迅速地、準(zhǔn)確地將微博中的實(shí)體指稱鏈接到知識(shí)庫，是一項(xiàng)有著十分重要意義的工作。對(duì)于科學(xué)研究來說，它可以提高機(jī)器翻譯的準(zhǔn)確度、網(wǎng)頁搜索的文檔相關(guān)度，計(jì)算廣告中搜索廣告的點(diǎn)擊率，以及相關(guān)領(lǐng)域知識(shí)庫構(gòu)建的準(zhǔn)確性。為了將微博中的命名實(shí)體

2、鏈接到無歧義的維基百科知識(shí)庫中，本文將實(shí)體鏈接工作具體分為以下3個(gè)主要部分。
　　第一部分是微博中的命名實(shí)體識(shí)別。由于考慮到英文不需要分詞的特殊性質(zhì)，本文將微博定位為英文微博Twitter。長文本中命名實(shí)體識(shí)別常采用基于規(guī)則、基于條件隨機(jī)場的方法，但這些方法在面向微博的命名實(shí)體識(shí)別工作中，效果并不顯著。本文采用標(biāo)注的潛在狄利克雷主題模型，生成實(shí)體指稱在實(shí)體類別上的先驗(yàn)分布，利用貝葉斯法則得到實(shí)體指稱屬于某個(gè)命名實(shí)體類別的概率。將標(biāo)

3、注的潛在狄利克雷主題模型與條件隨機(jī)場的預(yù)測(cè)結(jié)果相結(jié)合，實(shí)驗(yàn)結(jié)果表明，融合后的模型對(duì)微博這種短文本進(jìn)行命名實(shí)體識(shí)別可以取得較好的效果。
　　第二部分是候選實(shí)體的生成及其特征提取。生成候選實(shí)體常采用基于維基百科的查詢擴(kuò)展方法，但是這種方法的弊處在于生成候選實(shí)體數(shù)量過多，會(huì)引入較多有歧義性的候選實(shí)體。采用傳統(tǒng)的支持向量機(jī)模型，對(duì)這些候選實(shí)體進(jìn)行篩選，得到覆蓋率較高并且數(shù)量較少的候選實(shí)體。在特征提取方面，針對(duì)微博短文本的特點(diǎn)，用局部特征和