基于上下文的詞語(yǔ)相似度計(jì)算及其應(yīng)用.pdf

1、詞語(yǔ)之間相互關(guān)系的量化方法是自然語(yǔ)言處理的重要研究?jī)?nèi)容，在信息檢索、詞義消歧、機(jī)器翻譯等自然語(yǔ)言處理領(lǐng)域都有廣泛的應(yīng)用。本文以知網(wǎng)為基礎(chǔ)，研究和探討了詞語(yǔ)的語(yǔ)義相似度和關(guān)系相似度的度量方法，提出了語(yǔ)義與統(tǒng)計(jì)相融合的語(yǔ)義相似度算法和基于潛在語(yǔ)義索引的關(guān)系相似度算法，改進(jìn)了相似度的計(jì)算結(jié)果，具體內(nèi)容體現(xiàn)如下：
　　現(xiàn)有的語(yǔ)義和關(guān)系相似度算法主要分為基于語(yǔ)義資源和基于統(tǒng)計(jì)兩類方法，前者利用人工構(gòu)建的語(yǔ)義詞典或語(yǔ)義網(wǎng)絡(luò)計(jì)算相似度，而后者完

2、全是數(shù)據(jù)驅(qū)動(dòng)的方式，即從大規(guī)模的語(yǔ)料中統(tǒng)計(jì)與詞語(yǔ)共現(xiàn)的上下文信息以計(jì)算其相似度。本文研究知網(wǎng)的語(yǔ)義相似度計(jì)算方法，針對(duì)其在計(jì)算異類義原詞語(yǔ)間相似度效果不佳的不足，提出一種語(yǔ)義與統(tǒng)計(jì)相融合的語(yǔ)義相似度算法，以改善最終的語(yǔ)義相似度計(jì)算結(jié)果。本文引入國(guó)家公務(wù)員考試的替換題型作為中文詞語(yǔ)相似度算法的測(cè)試集，在一定程度上解決該類問題缺少公共中文測(cè)試集的問題，在該測(cè)試集對(duì)不同語(yǔ)義相似度算法進(jìn)行對(duì)比，本算法取得了較好的實(shí)驗(yàn)結(jié)果。
　　針對(duì)傳統(tǒng)的