基于向量空間的文本聚類方法與實現(xiàn).pdf

1、文本聚類是數(shù)據(jù)挖掘領域中的一個十分重要的分支。文本聚類技術能夠有效的將網(wǎng)頁上的文本信息進行歸類，方便人們在海量的網(wǎng)絡信息中查找有用的信息，提高網(wǎng)絡的服務質量。
　　本文的研究內容是基于網(wǎng)頁中的中文文本的聚類，通過聚類將網(wǎng)頁上的文本具有一定相似度的文本歸為一類。由于漢語文本通常是由漢語單字或者單詞作為單位所組成的連續(xù)語句，它不像英文文本以空格作為分界標志，因此在對中文文本聚類之前，需要將整句話切割成為小的詞匯單元。另外，還需要將文本

2、中不是關鍵的詞語進行去除，保留能夠代表該文本內容的重要詞語。
　　然而文本聚類算法不能夠直接在原始中文文本的形式上進行處理，因為這些文本內容是人類所使用的自然語言，屬于非結構化文本，計算機很難對其語義進行處理。文本結構化處理就是將非結構化文本轉化為計算機能夠處理的結構化文本表示模式，根據(jù)文本的特點和文本處理的要求來選擇合適的文本表示模型，而在本文中將選用向量空間模型(VSM)，因為向量空間模型是將上下文表示為特征項和權值集合的向量

3、，從而將聚類操作變換為向量空間中的向量運算。目前有很多種方法將文本信息轉化為向量，在這里將選取經(jīng)典的基于向量空間的特征權重計算方法詞頻-逆向文檔頻率算法(TF-IDF)對中文文本進行結構化處理，因為TF-IDF刻畫了特征項在整個文本集的分布重要程度。
　　雖然通過向量轉換的文本能夠被計算機處理，但是由于文本集合中的每個文本都是由大量的特征組成，它們的維數(shù)往往很高，這將會影響到文本聚類的效果。并且各自的文本向量可能存在于不同的向量空

4、間，給計算相似度帶來困難。所以在文本聚類中需要建立從原始特征空間到另一維數(shù)較低的特征空間的映射。這時就要對特征進行優(yōu)化。而潛在語義分析(LSA)中的奇異值分解(SVD)不但能夠將向量空間模型中的非正交的多維特征映射到維數(shù)較少的一個潛在語義空間中，而且能基本保持原空間的語義特性，從而實現(xiàn)對特征空間的降維和降噪處理。
　　文本經(jīng)過降維處理后就可以通過聚類算法進行聚類。目前聚類算法中基本分為基于劃分方法、基于層次方法、基于密度方法和基于