基于微博中嵌套命名實(shí)體識別的研究.pdf

1、伴隨著中國互聯(lián)網(wǎng)建設(shè)的不斷完善及發(fā)展，網(wǎng)絡(luò)逐漸滲透進(jìn)社會各行各業(yè)和人們生活各方各面。多樣化的互聯(lián)網(wǎng)應(yīng)用為我們帶來巨大的便捷性，許多網(wǎng)民通過互聯(lián)網(wǎng)進(jìn)行網(wǎng)上社交娛樂、購物支付等。網(wǎng)絡(luò)社交平臺，如Twitter、新浪微博等，已經(jīng)成為眾多網(wǎng)民間溝通交流、獲取信息的重要媒介與途徑。人們利用這類社交平臺發(fā)表、分享自己感興趣的文字、圖片、視頻等信息。然而隨之帶來的是每天海量數(shù)據(jù)的產(chǎn)生，如何從這些大規(guī)模數(shù)據(jù)中提取有用的信息，并運(yùn)用這些信息知識帶動社會的

2、發(fā)展與進(jìn)步，顯得尤為重要，也是數(shù)據(jù)挖掘領(lǐng)域的一大新的挑戰(zhàn)。
　　當(dāng)前，嵌套命名實(shí)體識別作為命名實(shí)體識別任務(wù)的主要組成部分，是許多科學(xué)研究（如：問答系統(tǒng)、知識圖譜、人工智能等）中最為基礎(chǔ)、核心的技術(shù)之一，并且其相關(guān)識別方法成果在實(shí)際生活中也具有廣泛的應(yīng)用。中文的復(fù)雜性導(dǎo)致在文本內(nèi)往往存在著較多的嵌套命名實(shí)體?，F(xiàn)有的命名實(shí)體識別方法能夠較好的識別出結(jié)構(gòu)相對簡單的基本命名實(shí)體，但對于結(jié)構(gòu)復(fù)雜的嵌套命名實(shí)體卻很難完整地、準(zhǔn)確地識別出來，再

3、加上現(xiàn)有方法多集中于常規(guī)文本中的命名實(shí)體識別研究。
　　針對微博中嵌套命名實(shí)體的提取，本文在分析其層次結(jié)構(gòu)的基礎(chǔ)上，將嵌套命名實(shí)體的識別任務(wù)拆分為兩個部分，并通過合理構(gòu)建特征庫、外部語義知識庫以及特征模板等手段進(jìn)行微博中嵌套命名實(shí)體的識別。本文的主要研究內(nèi)容包含以下幾點(diǎn)：
　　1.本文在對嵌套命名實(shí)體的結(jié)構(gòu)分析基礎(chǔ)上，給出其獨(dú)有的5種層次結(jié)構(gòu)特征類型，并認(rèn)為嵌套命名實(shí)體的識別在結(jié)構(gòu)相對簡單的基本命名實(shí)體識別之后更加合適。因此

4、，本文提出了一種基于層疊條件隨機(jī)場模型的微博中嵌套命名實(shí)體識別方法，該方法將識別任務(wù)劃分為兩個階段：首先在一個條件隨機(jī)場模型解決結(jié)構(gòu)相對簡單的人名、地名以及機(jī)構(gòu)名等基本命名實(shí)體的識別，然后將識別結(jié)果傳遞到另一個條件隨機(jī)場模型中為實(shí)現(xiàn)對嵌套命名實(shí)體的識別提供決策依據(jù)。
　　2.本文提出了一種基于詞性標(biāo)記的嵌套命名實(shí)體特征詞自動提取算法，構(gòu)建嵌套命名實(shí)體特征庫。同時，本文針對特征詞重要度這一個概念，提出了自己的改進(jìn)方法。除此之外，本文

5、人工地構(gòu)建一個外部語義知識庫，使得識別模型能夠獲取到足夠豐富的信息來進(jìn)行判別。
　　3.本文針對層疊條件隨機(jī)場中的低層與高層條件隨機(jī)場識別模型，分別構(gòu)建出合適的特征模板集合，并提出一種基于特征重要度的特征模板選取策略，提高識別模型的整體識別效果。
　　4.最后，本文通過對比實(shí)驗(yàn)的方式，比較了不同窗口大小對識別過程中的精確率、召回率以及F值的差異影響，最終選定識別模型中合適的窗口大小。此外，最終實(shí)驗(yàn)結(jié)果證明本文提出的基于層疊條