面向Twitter信息的機(jī)構(gòu)名消歧技術(shù)研究.pdf

1、實(shí)體的歧義是指同一個(gè)實(shí)體名稱可以對(duì)應(yīng)到多個(gè)概念上,為了自動(dòng)分析文本或構(gòu)建大規(guī)模知識(shí)庫(kù),精確細(xì)致的實(shí)體消歧工作不可缺少。近年來(lái)隨著社交網(wǎng)絡(luò)的高速發(fā)展,互聯(lián)網(wǎng)上的信息呈現(xiàn)出爆炸式地增長(zhǎng),如何自動(dòng)化地分析組織實(shí)體相關(guān)信息受到越來(lái)越多計(jì)算機(jī)科學(xué)工作者的關(guān)注。
　　機(jī)構(gòu)名消歧是實(shí)體消歧的一個(gè)分支,它僅關(guān)注機(jī)構(gòu)名類型的實(shí)體消歧。本文主要面向twitter數(shù)據(jù)的機(jī)構(gòu)名消歧,相對(duì)于傳統(tǒng)的文本信息,存在著上下文信息少,拼寫(xiě)、語(yǔ)法不規(guī)范等問(wèn)題。此外,

2、由于機(jī)構(gòu)名數(shù)量龐大,為每一個(gè)機(jī)構(gòu)都標(biāo)注訓(xùn)練數(shù)據(jù)是不現(xiàn)實(shí)的,因此就可能出現(xiàn)某機(jī)構(gòu)名在已標(biāo)注數(shù)據(jù)集中從未出現(xiàn),即訓(xùn)練集和測(cè)試集機(jī)構(gòu)名不重合的問(wèn)題。針對(duì)以上提到的面向twitter數(shù)據(jù)的機(jī)構(gòu)名消歧任務(wù)難點(diǎn),本文的主要工作如下:
　　(1)分析了機(jī)構(gòu)名消歧任務(wù)的難點(diǎn)。針對(duì)twitter數(shù)據(jù)上的機(jī)構(gòu)名消歧任務(wù),通過(guò)數(shù)據(jù)統(tǒng)計(jì)詳細(xì)分析了任務(wù)的難點(diǎn),如Twitter信息短,句法不規(guī)范,機(jī)構(gòu)名歧義性分布不均衡,訓(xùn)練集和測(cè)試集機(jī)構(gòu)名不重復(fù),現(xiàn)有知識(shí)庫(kù)

3、對(duì)機(jī)構(gòu)名的覆蓋范圍有限等。此外,歸納總結(jié)了現(xiàn)有工作的優(yōu)缺點(diǎn)。
　　(2)研究了基于通用類型分類特征的機(jī)構(gòu)名消歧方法,構(gòu)造了一個(gè)基于通用類型特征的機(jī)構(gòu)名消歧系統(tǒng),并將其作為基準(zhǔn)系統(tǒng)。通用類型的特征從本質(zhì)上講,不是詞匯化特征,而是待消歧twitter消息與機(jī)構(gòu)相關(guān)信息的相似度。該類型特征的建立需要利用機(jī)構(gòu)相關(guān)信息,而機(jī)構(gòu)網(wǎng)站主頁(yè)是一個(gè)重要的信息來(lái)源。但是由于機(jī)構(gòu)主頁(yè)缺失和難以提取的問(wèn)題,本文又引入了多種不同類型的機(jī)構(gòu)相關(guān)網(wǎng)頁(yè)作為數(shù)據(jù)源

4、。通過(guò)實(shí)驗(yàn),驗(yàn)證不同類型的數(shù)據(jù)源以及不同類型的特征對(duì)機(jī)構(gòu)名消歧的作用。
　　(3)研究了一種基于半監(jiān)督學(xué)習(xí)的優(yōu)化方法。通用分類特征計(jì)算過(guò)程易引入噪聲,從而導(dǎo)致了其消歧的精確率和召回率均偏低,另外,沒(méi)有針對(duì)每個(gè)機(jī)構(gòu)名做優(yōu)化。因此,這里考慮按照分類置信度挖掘出少量精確率較高的種子作為已標(biāo)注數(shù)據(jù),并將其它數(shù)據(jù)作為未標(biāo)注數(shù)據(jù),利用半監(jiān)督學(xué)習(xí)方法予以解決。最后,針對(duì)半監(jiān)督方法性能偏低的問(wèn)題,又提出了兩階段融合方法,即第一階段通用分類結(jié)果和第

5、二階段半監(jiān)督分類結(jié)果的融合。實(shí)驗(yàn)結(jié)果表明,基于半監(jiān)督學(xué)習(xí)的優(yōu)化方法能在一定程度上提高第一階段有監(jiān)督分類的消歧性能。
　　(4)研究了一種基于特征增強(qiáng)的自適應(yīng)優(yōu)化方法。針對(duì)半監(jiān)督優(yōu)化方法未能充分利用第一階段分類結(jié)果的缺點(diǎn),這里基于每個(gè)機(jī)構(gòu)在第一階段分類的結(jié)果,分別抽取出新的詞匯化特征,并加入到原有的特征空間,然后訓(xùn)練得到機(jī)構(gòu)特定的自適應(yīng)分類器。同時(shí),為了克服測(cè)試集數(shù)據(jù)稀疏問(wèn)題,又進(jìn)一步引入了大量未標(biāo)注數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明,基于特征增強(qiáng)