面向全文標(biāo)注的中文詞義消歧研究與實(shí)現(xiàn).pdf

1、一■●11‘●UnlneseW0rdSenSedisambiguationresearCnandimolementationforthe。、’‘’‘textdimolementationforthetulltextannotationAThesisSubmittedtoNanjingNormalUniversityFortheDegreeofMasterofEngineeringBYYuefengBianSupervisedbyProf

2、iWeiguangQuSchoolofComputerScienceandTechnologyNanjingNormalUniversityMay2015摘要摘要詞義消歧是自然語(yǔ)言處理領(lǐng)域中一項(xiàng)重要研究課題，消歧效果的好壞對(duì)機(jī)器翻譯、信息檢索、信息抽取與文本挖掘、語(yǔ)音識(shí)別等方面具有重大影響，因此詞義消歧具有重要的理論研究和實(shí)際應(yīng)用意義。詞義消歧任務(wù)主要分為采樣任務(wù)和全詞任務(wù)，本文主要針對(duì)全詞任務(wù)進(jìn)行消歧研究，即對(duì)給定文本中出現(xiàn)的所有多義

3、詞進(jìn)行詞義標(biāo)注。為實(shí)現(xiàn)全文標(biāo)注這一目標(biāo)，本文主要完成了以下工作：1選用《現(xiàn)代漢語(yǔ)語(yǔ)義詞典》(SKCC)作為詞義標(biāo)注體系，但現(xiàn)有的部分己標(biāo)注詞義語(yǔ)料采用的詞義標(biāo)注體系為《現(xiàn)代漢語(yǔ)語(yǔ)法信息詞典》(GKB)，并且，SKCC中部分多義詞的詞義劃分與GKB存在不一致的情況。為了使詞義標(biāo)注體系SKCC更加準(zhǔn)確合理，本文進(jìn)行了詞典映射工作，并將己標(biāo)注語(yǔ)料中GKB的義項(xiàng)標(biāo)記轉(zhuǎn)換為SKCC中對(duì)應(yīng)標(biāo)記。為方便快捷地建立詞典映射關(guān)系，開(kāi)發(fā)了詞典映射工具。該工

4、具能夠?qū)刹吭~典中詞義相同的義項(xiàng)自動(dòng)建立映射關(guān)系，為詞典映射提供了極大的便利?；谠~典映射結(jié)果，邀請(qǐng)語(yǔ)言學(xué)專業(yè)的同學(xué)對(duì)SKCC中部分多義詞進(jìn)行了詞義修正，使詞典中的詞義劃分更加合理。2為實(shí)現(xiàn)對(duì)所有多義詞進(jìn)行消歧，本文提出了基于相對(duì)詞頻比的主動(dòng)學(xué)習(xí)方法。該方法從大規(guī)模未標(biāo)注語(yǔ)料中計(jì)算目標(biāo)多義詞上下文的相對(duì)詞頻比，用相對(duì)詞頻比表示目標(biāo)多義詞與上下文詞語(yǔ)的搭配強(qiáng)度，選擇搭配強(qiáng)度較大的上下文詞語(yǔ)作為目標(biāo)詞的常用搭配詞，利用搭配詞人工標(biāo)注目標(biāo)詞義

5、項(xiàng)，從而實(shí)現(xiàn)未標(biāo)注語(yǔ)料的批量標(biāo)注，并且將標(biāo)注后的語(yǔ)料作為訓(xùn)練語(yǔ)料。隨機(jī)抽取8個(gè)多義詞進(jìn)行消歧實(shí)驗(yàn)利用已標(biāo)注語(yǔ)料進(jìn)行有監(jiān)督實(shí)驗(yàn)，平均準(zhǔn)確率僅有7452％，對(duì)于相同測(cè)試語(yǔ)料，采用一致的特征選擇方法，基于相對(duì)詞頻比的主動(dòng)學(xué)習(xí)方法取得的平均準(zhǔn)確率為8501％，比有監(jiān)督方法提高了1049％。3依托國(guó)家自然科學(xué)基金項(xiàng)目“漢語(yǔ)詞義標(biāo)注關(guān)鍵技術(shù)研究”，需要對(duì)項(xiàng)目中“面向全文詞義消歧”子任務(wù)在研究基礎(chǔ)上進(jìn)行工程實(shí)現(xiàn)，開(kāi)發(fā)了面向全文標(biāo)注的詞義消歧平臺(tái)。該平