漢語詞義消歧研究.pdf

1、詞義消歧是自然語言處理的核心問題，詞義消歧結(jié)果的好壞直接影響到機器翻譯、信息檢索、句法分析和語音識別等應(yīng)用領(lǐng)域。因此詞義消歧研究在自然語言處理領(lǐng)域中具有重要的理論和實踐意義。本文主要研究基于統(tǒng)計的漢語詞義消歧方法，先后研究了基于詞義標(biāo)注語料庫的有指導(dǎo)的消歧方法和基于詞義標(biāo)注語料與未標(biāo)語料相結(jié)合的半指導(dǎo)的消歧方法。 在有指導(dǎo)的消歧方法中改進了AdaBoost算法(雙規(guī)則AdaBoost算法，即DR-AdaBoost)，該算法在每次

2、迭代中將最優(yōu)弱分類規(guī)則和次優(yōu)弱分類規(guī)則有機結(jié)合起來，通過加強最優(yōu)弱規(guī)則與次優(yōu)弱規(guī)則，最終產(chǎn)生一個準(zhǔn)確度高的強規(guī)則，即消歧模型；當(dāng)次優(yōu)弱規(guī)則的權(quán)重為零時，即為AdaBoost算法。實驗表明，DR-AdaBoost算法通過適當(dāng)?shù)拇我?guī)則參數(shù)的調(diào)整，消歧準(zhǔn)確率比AdaBoost算法提高了2.61％。 盡管有指導(dǎo)的消歧方法取得了較好的消歧結(jié)果，但其結(jié)果的好壞很大程度上受標(biāo)注語料規(guī)模大小的影響，高質(zhì)量、大規(guī)模的詞義標(biāo)注語料需要高昂的人工代價

3、。為了克服有指導(dǎo)消歧方法對標(biāo)注語料庫的依賴性，本文在漢語詞義消歧中引入Bootstrapping算法，該算法只從少量種子集出發(fā)，綜合利用詞義標(biāo)注語料和未標(biāo)注語料。實驗表明，在相同手工標(biāo)注語料規(guī)模的條件下，Bootstrapping算法比基本分類器貝葉斯分類器取得了更好的消歧準(zhǔn)確率，Bootstrapping算法可以用大約一半的標(biāo)注語料作為種子集，就可以達到基本分類器的學(xué)習(xí)效果，減少了有指導(dǎo)消歧方法中對大規(guī)模詞義標(biāo)注語料庫的需求。