基于相對詞頻的相似度研究.pdf

1、在中文信息處理中，文本相似度的計算廣泛應用于信息檢索、機器翻譯、自動問答系統(tǒng)、文本挖掘等領域，是一個非常基礎而關鍵的問題，相似度計算的方法目前也有很多種，針對總體研究情況來看，這些方法缺乏對文本的語義分析，本文主要考慮利用知網(wǎng)提供的詞語標注從中文語義角度計算詞語相似度，從而提高相似度的精度。 作為相似度研究的一個基礎環(huán)節(jié)，中文自動分詞處理結果的好壞直接影響最后計算結果的準確性。文章介紹中文自動分詞消歧技術的相關研究背景及發(fā)展狀況

2、。文中采用以語料庫為手段的相對詞頻語境計算模型的算法先對中文文本詞語分詞消歧，從歧義字段的上下文中求得消歧信息，通過計算上下文信息來達到消歧的目的，使得分詞效果較以往方法得到改善。 經(jīng)分詞消歧后得到的特征詞集利用基于知網(wǎng)語義詞典，通過計算特征詞之間的語義相似度，將原有特征集經(jīng)過計算后分成若干特征詞集。同一特征詞集中的特征詞語義相似度較大，而不同特征詞集的特征詞語義相似度較小。在此基礎上，將同一特征詞集的所有特征項的特征值相加，并