漢語全文相似度計算的研究及應(yīng)用.pdf

1、語言文字是信息的主要載體，現(xiàn)代社會對語言文字處理的要求越來越高。中文信息處理技術(shù)也隨著計算機和因特網(wǎng)普及應(yīng)用，面臨著新的更大的挑戰(zhàn)和機遇，語言文本處理的研究成為其中基礎(chǔ)而關(guān)鍵的問題之一。
　　全文相似度計算技術(shù)在自動文摘、知識挖掘、機器翻譯、自動問答系統(tǒng)、信息檢索及文檔復(fù)制檢測等領(lǐng)域有著廣泛實際的應(yīng)用。漢語全文相似度的計算包含詞語的切分、詞語語義及概念的研究、短語和句型的研究、語料庫的建設(shè)、語言規(guī)則的研究等方面的內(nèi)容。由于漢語本身

2、的復(fù)雜性和進化性，漢語全文相似度的計算仍處在應(yīng)用起步階段，鑒于信息處理在國家信息化建設(shè)中的重要地位，對全文相似度計算進行深入的研究是非常必要的。
　　針對目前全文相似度計算存在的問題，將基于統(tǒng)計方法和語言規(guī)則方法相融合來處理專門領(lǐng)域的問題是一個非常重要的趨勢，本文做了以下的研究和探索：
　　1．在文本句子層面，總結(jié)了國內(nèi)外句子相似度計算方法的研究成果，分析了存在的問題和不足，在基于《知網(wǎng)》計算詞語相似度的基礎(chǔ)上，給出了句子相

3、似度計算綜合公式，研究了否定副詞在句子相似度計算中的作用，設(shè)計了一種含有否定副詞的句子相似度計算方法，通過實驗證明，新算法在句子相似度計算中具有較好的效果。
　　2．在文章層面，對全文相似度計算做了全面的分析和研究，總結(jié)了幾種主要的全文相似度計算方法的優(yōu)缺點，重點研究了基于向量空間模型的全文相似度計算方法，比較了幾種常見的特征選擇算法效果和應(yīng)用范圍。
　　3．深入研究了具有一定結(jié)構(gòu)形式的文章間相似度計算問題，設(shè)計了一種文章結(jié)