基于因子分析的文本分類(lèi).pdf

1、從20世紀(jì)90年代以來(lái)，伴隨互聯(lián)網(wǎng)的飛速發(fā)展，出現(xiàn)了大量的電子文檔。如何對(duì)這些無(wú)結(jié)構(gòu)的自然語(yǔ)言文本進(jìn)行有效的管理和使用成為一個(gè)重要的研究問(wèn)題。一些自然語(yǔ)言的處理技術(shù)例如信息檢索、數(shù)據(jù)挖掘、文本分類(lèi)等快速地發(fā)展起來(lái)。 文本分類(lèi)是信息處理的一個(gè)重要研究領(lǐng)域。與其他的分類(lèi)任務(wù)相比，文本分類(lèi)本身一個(gè)最重要的特點(diǎn)是，文本分類(lèi)通常用詞作為分類(lèi)的特征。詞的數(shù)目非常大，幾千，幾萬(wàn)，甚至幾十萬(wàn)。分類(lèi)特征非常多，普通的分類(lèi)器難以很好的完成分類(lèi)任務(wù)。

2、如何有效的減少分類(lèi)的特征，而同時(shí)要保證分類(lèi)的性能就成為重要的研究?jī)?nèi)容。特征降維的方法通常分為特征選取和特征抽取兩類(lèi)。在本文中重點(diǎn)研究了采用因子分析技術(shù)進(jìn)行特征抽取的方法。 潛在語(yǔ)義索引是一種最常用的特征抽取技術(shù)，通過(guò)對(duì)項(xiàng)－文本矩陣的分解，利用詞之間的共現(xiàn)信息來(lái)抽取特征，文本表示從原來(lái)高維詞空間的文本向量線性映射到潛在語(yǔ)義空間的低維向量。潛在語(yǔ)義索引是一種非常好的特征降維的方法，它可以利用很少的維數(shù)保存文本絕大部分的分類(lèi)信息，而且

3、能夠去除數(shù)據(jù)集中的噪聲來(lái)提高分類(lèi)的效果。文中對(duì)潛在語(yǔ)義索引對(duì)于特征降維的能力進(jìn)行了研究，與常用特征選取方法如信息增益，文檔頻度，互信息等進(jìn)行了比較分析。實(shí)驗(yàn)結(jié)果表明，潛在語(yǔ)義索引是一種很好的降維技術(shù)，可以用很少的特征而得到非常好的分類(lèi)效果。 因?yàn)闈撛谡Z(yǔ)義索引采用奇異值分解實(shí)現(xiàn)，所有的運(yùn)算都是線性轉(zhuǎn)換，所以得到的新特征是由原始特征(詞)信息的線性組合得到的。而有些對(duì)分類(lèi)有用的信息是非線性的，潛在語(yǔ)義索引方法無(wú)法對(duì)這些信息很好的進(jìn)行

4、表示。 核主成分分析與潛在語(yǔ)義索引很相似，也是一種因子分析技術(shù)。核主成分分析通過(guò)引入核方法，把文本從詞空間映射到非常高維的特征空間后，再進(jìn)行主成分分析，抽取非線性特征。核主成分分析能成功的避開(kāi)潛在語(yǔ)義索引的線性限制，從而能夠抽取到更適合分類(lèi)的特征。核主成分分析與kNN分類(lèi)器組合模型取得很好的分類(lèi)性能。本文選用多項(xiàng)式核函數(shù)，并對(duì)多項(xiàng)式核函數(shù)的參數(shù)對(duì)分類(lèi)性能影響進(jìn)行初步探討。在中文和英文數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，核主成分分析用來(lái)作特征