基于DBpedia Spotlight的高效命名實(shí)體識(shí)別方法研究.pdf

1、近些年，隨著關(guān)聯(lián)數(shù)據(jù)的發(fā)展，大量不同領(lǐng)域的知識(shí)庫以RDF的形式發(fā)布出來，規(guī)模愈來愈大，內(nèi)容愈來愈豐富。命名實(shí)體識(shí)別作為信息提取領(lǐng)域的子任務(wù)，能夠構(gòu)建知識(shí)庫與自然語言文本之間的橋梁，利用知識(shí)庫中的語義為關(guān)鍵字提取，機(jī)器翻譯，主題檢測(cè)與跟蹤等任務(wù)提供支撐。因此，如何有效地提高命名實(shí)體識(shí)別的性能成為許多研究工作的焦點(diǎn)。
　　本文基于開源命名實(shí)體識(shí)別系統(tǒng)DBpedia Spotlight提出了一套命名實(shí)體識(shí)別優(yōu)化方案。該方案包括三個(gè)部分，

2、首先針對(duì)系統(tǒng)使用的一元語言模型設(shè)計(jì)并實(shí)現(xiàn)編輯擴(kuò)展的框架，增強(qiáng)了系統(tǒng)的靈活性，同時(shí)基于該框架提出了使用訓(xùn)練集和候選集對(duì)模型進(jìn)行擴(kuò)展的方法，通過人工生成候選集驗(yàn)證了方法的有效性；其次，通過考慮上下文單詞與實(shí)體的相關(guān)性，提出了點(diǎn)互信息率的概念，并使用其作為閾值對(duì)系統(tǒng)的上下文模型進(jìn)行特征選擇，舍棄掉上下文中與實(shí)體相關(guān)度較低的單詞，在大幅度降低模型空間的同時(shí)提高了系統(tǒng)標(biāo)注的準(zhǔn)確率和召回率；最后，考慮到文本內(nèi)部通常會(huì)有一個(gè)中心主題，本文使用維基百科

3、文章之間的鏈接為實(shí)體和文本構(gòu)建主題向量，通過計(jì)算候選集中實(shí)體與文本主題之間的相似度，對(duì)系統(tǒng)的標(biāo)注結(jié)果進(jìn)行二次消歧，進(jìn)一步地提高了系統(tǒng)標(biāo)注的準(zhǔn)確率。
　　另外，中文作為世界上使用人口最多的語言，設(shè)計(jì)和實(shí)現(xiàn)一個(gè)中文命名實(shí)體識(shí)別系統(tǒng)是非常必要的。本文以DBpedia Spotlight為基礎(chǔ)，分析并克服中文語言為命名實(shí)體識(shí)別任務(wù)帶來的挑戰(zhàn)，使用中文維基百科數(shù)據(jù)構(gòu)建一元語言模型，設(shè)計(jì)并實(shí)現(xiàn)了中文命名實(shí)體識(shí)別系統(tǒng)，為用戶提供REST服務(wù)訪問