面向文本聚類的語義加權(quán)研究.pdf

1、隨著Internet的迅猛發(fā)展,不可避免地使人們對有用信息的查找產(chǎn)生了巨大困難,因此文本挖掘的發(fā)展前景十分廣闊,而文本聚類是文本挖掘的一個重要的組成部分。文本聚類是聚類分析領(lǐng)域的一個重要研究分支,是聚類方法在文本處理領(lǐng)域的重要應(yīng)用。但是文本聚類也遇到一些比較普遍的問題如文本對象的高維性,一個文本集可能會有幾十萬個詞匯來表示;文本對象的稀疏性,很多詞語很少被用到;文本對象詞的字面關(guān)系和潛在語義關(guān)系很難被挖掘出來。本文首先回顧了文本聚類中文

2、本預(yù)處理,文本表示模型、文本相似度計算、文檔特征向量縮減、聚類算法和聚類效果評價等各個步驟的一些概念和方法。接著本文探究文本聚類中主要遇到的文本對象字面意義和潛在語義關(guān)系的挖掘問題,提出了幾種基于語義特征向量加權(quán)的方法:基于詞語詞性的加權(quán)方法、基于詞語位置的加權(quán)方法、基于詞語詞長的加權(quán)方法、基于詞語相關(guān)性的加權(quán)方法和基于詞語相似度的加權(quán)方法。詞語與詞語詞之間的相關(guān)度就是指兩個詞語之間同時出現(xiàn)在一定語言環(huán)境中的概率大小。一般我們用文檔同現(xiàn)

3、頻率、段落同現(xiàn)頻率和句子同現(xiàn)頻率來衡量。實驗研究發(fā)現(xiàn),段落同現(xiàn)頻率刻畫的詞語相關(guān)度的向量加權(quán)對于最終的文本聚類效果提高是最明顯的,大概能提高最終文本聚類效果10％左右。詞語與詞語之間的相似度指的是兩個詞語在不同的上下文中可以互相替換使用而不改變文本的句法語義結(jié)構(gòu)的程度。本文利用了基于《知網(wǎng)》的語義相似度計算方法,對特征向量進(jìn)行基于語義相似度的加權(quán)。實驗研究發(fā)現(xiàn),基于語義相似度的特征向量加權(quán)雖然能夠提高最終文本聚類效果,但是其效果并沒有基