基于組合策略的中文詞語(yǔ)相似度計(jì)算研究.pdf

1、針對(duì)當(dāng)前詞語(yǔ)相似度計(jì)算方法存在的局限性：基于語(yǔ)義詞典的詞語(yǔ)相似度計(jì)算方法依賴字典進(jìn)行相似度計(jì)算，因此無(wú)法對(duì)字典未登錄詞語(yǔ)進(jìn)行計(jì)算；基于語(yǔ)料庫(kù)的詞語(yǔ)相似度計(jì)算方法在計(jì)算低頻詞語(yǔ)的相似度時(shí)，由于低頻詞語(yǔ)上下文信息量太少，使得詞向量不能較好地表示詞語(yǔ)語(yǔ)義，導(dǎo)致其相似度計(jì)算無(wú)效。本文進(jìn)行了如下的研究：
　　 首先，本文利用大規(guī)模的真實(shí)語(yǔ)料對(duì)中文詞語(yǔ)的分布規(guī)律進(jìn)行了研究，掌握了中文詞語(yǔ)的分布規(guī)律，并且建立了一個(gè)基于真實(shí)語(yǔ)料的實(shí)驗(yàn)數(shù)據(jù)集。該

2、部分工作為后文有針對(duì)性地設(shè)計(jì)相似度算法和客觀地評(píng)估相似度計(jì)算性能做好了充分而必要的準(zhǔn)備。
　　 其次，本文提出一種利用背景語(yǔ)料和詞典的未登錄詞語(yǔ)相似度計(jì)算方法，該方法利用未登錄詞語(yǔ)的背景語(yǔ)料確定未登錄詞語(yǔ)在語(yǔ)料庫(kù)中的最佳概念表達(dá)，然后為其最佳概念表達(dá)構(gòu)造語(yǔ)境，通過(guò)比較未登錄詞語(yǔ)的最佳概念表達(dá)的語(yǔ)境和其本身的語(yǔ)境之間的差異來(lái)判斷該最佳概念表達(dá)能否表達(dá)未登錄詞語(yǔ)的涵義，最后利用字典進(jìn)行相似度計(jì)算。該方法有效地解決了傳統(tǒng)的采用切分方法

3、的未登錄詞語(yǔ)相似度計(jì)算方法中存在的錯(cuò)誤切分和濫切分的問(wèn)題。實(shí)驗(yàn)證明該方法是有效的。
　　 最后，在上文研究的基礎(chǔ)上，本文提出了一種中文詞語(yǔ)的相似度計(jì)算的框架。該框架采用組合策略，利用背景語(yǔ)料、語(yǔ)義詞典和基于Internet的構(gòu)造語(yǔ)料進(jìn)行詞語(yǔ)相似度計(jì)算，它包括四個(gè)步驟：(1)若待處理詞語(yǔ)a、b均為語(yǔ)義字典的登錄詞語(yǔ)，則直接利用語(yǔ)義字典進(jìn)行相似度計(jì)算；(2)若a、b中存在為語(yǔ)義字典的未登錄詞語(yǔ)，但未登錄詞語(yǔ)均可切分為語(yǔ)義字典的登錄詞