中文跨文檔指代消解的研究與實(shí)現(xiàn).pdf

1、跨文檔指代消解是自然語言處理的重點(diǎn)和難點(diǎn)之一,是信息檢索,信息抽取,多文檔摘要等應(yīng)用系統(tǒng)的重要組成部分。在數(shù)十年中,指代消解的研究只是局限于單篇文檔內(nèi)的研究。隨著研究的深入,跨文檔指代消解越來越受到青睞,因?yàn)樗谄轮g也構(gòu)建了多條指代鏈,不僅可以獲得關(guān)于某個(gè)實(shí)體更詳細(xì)的信息,而且能將一些很有價(jià)值的信息反饋到指代消解的研究中,使指代消解取得突破性的進(jìn)展。
　　 由于中文跨文檔指代消解的研究尚且處于起步階段。本文深入分析現(xiàn)有的英文

2、跨文檔指代消解技術(shù),設(shè)計(jì)了中文跨文檔指代消解的系統(tǒng),該系統(tǒng)包括中文人名跨文檔指代消解和中文地名跨文檔指代消解兩部分。對(duì)于中文人名跨文檔指代消解,提出兩步實(shí)現(xiàn)的方案:首先抽取傳記信息、相容信息,對(duì)指代鏈進(jìn)行簡單的合并、分離和標(biāo)記,形成初始的指代鏈集合。然后采用基于向量空間模型(VSM)的聚類方法對(duì)指代鏈進(jìn)行聚類,形成最終的指代鏈集合。對(duì)于中文地名跨文檔指代消解,提出通過文檔層信息的抽取與基于VSM的聚類相結(jié)合的策略來實(shí)現(xiàn)。此外,由于中文跨

3、文檔指代消解語料庫的缺乏,我們從搜索引擎上搜集和整理了113篇具有相同人名“張偉”的文檔和30篇具有相同地名“通州”的文檔,對(duì)這些文檔進(jìn)行預(yù)處理、人工校對(duì)和核對(duì)后作為中文人名和地名的語料庫。本文采用B-CUBED算法對(duì)系統(tǒng)進(jìn)行評(píng)估,在中文人名語料庫上,其F值最高為95.71％,對(duì)應(yīng)的準(zhǔn)確率和召回率為92.41％和99.25％。在中文地名語料庫上,其F最高為89.30％,對(duì)應(yīng)的準(zhǔn)確率和召回率為100％年1180.66％。
　　 特