跨文檔共指消解的方案研究.pdf

1、跨文檔共指消解(CrossDocumentCoreference,CDC)是以分散在不同文本來源中的相同名詞實(shí)體為對象,通過信息抽取、信息表示和聚類等技術(shù)最終判定這些名詞實(shí)體與客觀概念之間的共指關(guān)系的過程。CDC的研究涉及信息抽取、數(shù)據(jù)挖掘、自然語言處理等多個(gè)研究領(lǐng)域,其是文本信息融合的核心技術(shù),是文本信息理解的研究基礎(chǔ)。隨著信息社會(huì)的不斷發(fā)展,對于高效獲取和組織信息的技術(shù)需求日益迫切,CDC研究的重要性也日益凸顯。
　　在目前C

2、DC的相關(guān)研究中,傳統(tǒng)的文本挖掘方法依然占據(jù)核心地位。然而隨著對CDC技術(shù)研究的逐漸深入,傳統(tǒng)的文本挖掘方法已經(jīng)很難適應(yīng)當(dāng)前CDC應(yīng)用的要求。例如,文本本身的復(fù)雜性、文本邊界的束縛、相關(guān)信息的抽取以及領(lǐng)域和先驗(yàn)知識的匱乏都已經(jīng)嚴(yán)重地影響到了CDC技術(shù)的發(fā)展與應(yīng)用。
　　CDC相關(guān)研究的難題其本質(zhì)上都是由于自然語言文本中信息的復(fù)雜性和相關(guān)性所導(dǎo)致的。自然語言文本中信息的復(fù)雜性和相關(guān)性歸根結(jié)底是源于人的思維的復(fù)雜性和相關(guān)性。這種復(fù)雜性

3、和相關(guān)性是由于人對復(fù)雜的客觀事物具備了更為深入的認(rèn)知能力、推理能力和表述刻畫能力。然而,這也是計(jì)算機(jī)在獲取、組織和理解文本信息的過程存在著諸多難題的根源。因此,若能降低自然語言文本信息的復(fù)雜性,充分利用現(xiàn)有的數(shù)據(jù)挖掘、模式識別技術(shù)識別和處理其相關(guān)性,并且在此基礎(chǔ)上大膽創(chuàng)新,探索出適用于CDC問題的計(jì)算機(jī)技術(shù)處理方案,將能夠極大的推動(dòng)CDC研究的發(fā)展。
　　利用模式識別和數(shù)據(jù)挖掘技術(shù)的重要方法——貝葉斯理論和圖理論對自然語言文本信息

4、進(jìn)行定量的轉(zhuǎn)化與表示。作者將這些理論引入CDC問題的研究當(dāng)中,用以拋磚引玉,為CDC技術(shù)的進(jìn)一步發(fā)展提供更新的技術(shù)路線與解決方案。本文的主要研究內(nèi)容如下:
　?、倩诜菂?shù)貝葉斯模型的跨文檔共指消解方案
　　以往的跨文檔共指消解方案都是采用文檔內(nèi)部共指鏈或者信息窗口的方法對待消解名詞實(shí)體的相關(guān)信息域進(jìn)行劃分,并抽取信息特征進(jìn)行信息表示。在本方案中,首先考慮到主題在文本中的分布情況,假設(shè)主題在待消解名詞實(shí)體相關(guān)信息域中的分布是

5、相同的,以文檔中的句子為對象,通過分層Dirichlet過程(HierarchicalDirichletProcess,HDP)模型計(jì)算句子中各個(gè)主題所占的成分,再利用Dirichlet過程混合模型(DirichletProcessMixtureModel,DPMM)對句子進(jìn)行聚類,將包含待消解名詞實(shí)體的劃分句子集作為待消解名詞實(shí)體的相關(guān)信息域;隨后,采用HDP模型重新計(jì)算各信息域內(nèi)主題所占的成分從而對各個(gè)待消解名詞實(shí)體的相關(guān)信息域進(jìn)行

6、信息表示;最后通過現(xiàn)有研究中常用的聚類算法對方案性能進(jìn)行評估,評估結(jié)果表明該方案較現(xiàn)有的方法具有更好的消解效果。此外,本文還論證了非參數(shù)聚類方法在方案中使用的局限性。
　　②基于圖理論的跨文檔共指消解方案
　　方案首先采用圖理論的信息表示方法——信息圖對待消解名詞實(shí)體的信息域進(jìn)行了表示。該信息表示方法可以很好的體現(xiàn)各名詞實(shí)體之間的關(guān)系,同時(shí)又對文本中的信息進(jìn)行了有效篩選;其次,方案通過將信息圖進(jìn)行相似性度量,獲得各個(gè)待消解名

7、詞實(shí)體的信息圖之間的相似關(guān)系,從而構(gòu)建各個(gè)待消解名詞實(shí)體的關(guān)系網(wǎng)絡(luò);最后通過采用有權(quán)的社交網(wǎng)絡(luò)社團(tuán)劃分方法,對整個(gè)關(guān)系網(wǎng)絡(luò)進(jìn)行社團(tuán)劃分,得到社團(tuán)結(jié)構(gòu)即為各個(gè)待消解名詞實(shí)體的共指關(guān)系劃分。該方案通過在常用公共數(shù)據(jù)集上的性能評估,證明方案在不借助任何先驗(yàn)知識和領(lǐng)域知識的情況下,較以往的方法在性能上有一定的提升,且方案具有較好的普適性,具有很好的實(shí)用價(jià)值。
　　③擴(kuò)充的基于圖理論跨文檔共指消解方案
　　雖然基于圖理論的跨文檔的共指

8、消解方案已經(jīng)具有了較好的消解性能和很好的實(shí)用價(jià)值,但是圖的信息表示方法還具有可以挖掘的潛力。基于上述考慮,提出了基于圖理論擴(kuò)展的跨文檔共指消解方案。該方案主要從以下兩點(diǎn)對同模型進(jìn)行擴(kuò)展:1)通過信息圖的拓?fù)涮匦?對信息圖進(jìn)行有權(quán)化擴(kuò)展,計(jì)算得到了信息圖中的節(jié)點(diǎn)權(quán)重向量和邊權(quán)重向量;2)對信息圖進(jìn)行了合理的向量轉(zhuǎn)化,使其可以通過向量的相似性度量算法計(jì)算各信息圖之間的相似度,從而構(gòu)建了各個(gè)待消解名詞實(shí)體的關(guān)系網(wǎng)絡(luò)。擴(kuò)展的效果通過社交網(wǎng)絡(luò)的社