基于《知網(wǎng)》義原空間的文本相似度計算研究與實現(xiàn).pdf

1、文本相似度計算是知識產(chǎn)權(quán)保護、文本分類、機器翻譯、自然語言處理、復(fù)制檢測、自動問答和信息檢索等領(lǐng)域的核心技術(shù)?，F(xiàn)有的文本相似度計算方法大致可以歸納為兩類，第一類是基于文本特征統(tǒng)計的方法，第二類則是基于文本語義理解的方法?；谖谋咎卣鹘y(tǒng)計的方法在長文本等大粒度實體的相似度計算方面取得了較好的效果，其中最具代表性的就是向量空間模型(Vector Space Model,簡稱VSM)和廣義向量空間模型（General Vector Space

2、 Model,簡稱GVSM）。GVSM在VSM的基礎(chǔ)上利用文本特征項的共現(xiàn)信息，對VSM模型中特征項正交的假設(shè)進行了改進?；谡Z義理解的方法，通常以某種知識庫作為依據(jù)實現(xiàn)詞語之間或者句子之間相似度的計算。基于統(tǒng)計的方法簡單高效，但是缺乏語義，無法處理自然語言中“一詞多義”和“一義多詞”的情況。而基于語義理解的方法往往計算比較復(fù)雜，不適合大規(guī)模的文本處理。
　　本文借鑒了廣義向量空間模型的思想，利用知識庫《知網(wǎng)》中的義原，提出了一種

3、基于《知網(wǎng)》義原空間的文本語義相似度計算方法（Sememe Vector Space Model，簡稱SVSM）。SVSM把基于統(tǒng)計和語義理解的方法相互結(jié)合，將文本表示為義原空間中的向量，并通過計算文本義原向量之間的夾角實現(xiàn)文本相似度的計算。為了驗證提出方法的有效性，本文通過文本聚類實驗對比了SVSM與經(jīng)典的VSM和GVSM模型。實驗結(jié)果表明本文提出的算法在語義相似度計算方面相比VSM與GVSM有所提高。
　　在義原文本相似度計算

4、方法的基礎(chǔ)上，本文基于J2EE平臺設(shè)計并實現(xiàn)了一個文本查重系統(tǒng)。在該系統(tǒng)中將《知網(wǎng)》的義原、概念、詞語、義原之間的相似度和詞語的義原向量表示設(shè)計為數(shù)據(jù)庫中的關(guān)系表。這樣在進行文本相似度計算時可以直接查表取得相關(guān)信息，避免了重復(fù)計算，提高了文本相似度計算的效率。利用開源的軟件工具包Lucence、ICTCLAS、hibernate Search等實現(xiàn)文本義原向量的構(gòu)建和相似度的計算。通過將文本中實現(xiàn)的查重系統(tǒng)應(yīng)用于實際的工程應(yīng)用中，取得了