結(jié)合仿射空間和正交分解的類中心分類法研究.pdf

1、從大量繁雜的文本信息中獲取有用的信息是信息處理的一大任務(wù)，而文本分類是實(shí)現(xiàn)這個(gè)任務(wù)的最重要的方法之一。向量空間模型是進(jìn)行大規(guī)模文本處理常用的表示模型，而類中心分類法是向量空間模型中一種非常有效的分類方法，計(jì)算文檔向量和每個(gè)類別中心向量的相似度，其中相似度最大值所對(duì)應(yīng)的類別，就是文檔的所屬類別。
　　 向量空間模型有兩個(gè)固有的缺陷：高維的向量和扭曲的空間。在各類文本挖掘和檢索技術(shù)中，一般利用歐式距離來計(jì)算文本向量之間的相似程度。文

2、本特征空間是個(gè)非常復(fù)雜的空間結(jié)構(gòu)，而各個(gè)坐標(biāo)之間也并不是平等的，概念之間的語義有不同程度聯(lián)系。而經(jīng)典的歐氏距離應(yīng)用的前提條件是每個(gè)坐標(biāo)對(duì)于計(jì)算歐氏距離起著相同的作用，按照經(jīng)典的歐氏距離進(jìn)行計(jì)算會(huì)導(dǎo)致空間形狀的扭曲和變形。本文針對(duì)傳統(tǒng)向量空間中特征項(xiàng)不獨(dú)立導(dǎo)致的計(jì)算誤差原因進(jìn)行研究，發(fā)現(xiàn)在坐標(biāo)系獨(dú)立的笛卡兒直角坐標(biāo)系中和坐標(biāo)系不獨(dú)立的笛卡兒斜角坐標(biāo)系或者說仿射坐標(biāo)系中兩向量內(nèi)積計(jì)算上存在差異，這必然導(dǎo)致用向量內(nèi)積來計(jì)算的兩向量的相似度在傳

3、統(tǒng)的向量空間中存在誤差。
　　 針對(duì)傳統(tǒng)向量空間由于特征項(xiàng)不獨(dú)立導(dǎo)致的計(jì)算誤差，本文對(duì)傳統(tǒng)向量空間中的類中心分類法引入仿射空間概念。但直接在以特征項(xiàng)為維的向量空間內(nèi)引入基于仿射空間的相似度計(jì)算的改進(jìn)又無疑大大增加了計(jì)算的時(shí)間的復(fù)雜度，對(duì)此本文引入可以降低計(jì)算維數(shù)的正交分解模型，將由于特征項(xiàng)不獨(dú)立導(dǎo)致的計(jì)算誤差研究轉(zhuǎn)化為改進(jìn)類別不獨(dú)立導(dǎo)致的計(jì)算誤差的研究。正交分解和仿射空間中線形變換存在著對(duì)應(yīng)關(guān)系，由此本文提出了基于正交分解的類中

4、心分類法以及基于仿射空間和正交分解的類中心分類法。
　　 為了驗(yàn)證本文提出的基于正交分解的類中心分類法和基于仿射空間和正交分解的類中心分類法有效性和可行性，為驗(yàn)證基于仿射空間的改進(jìn)是否能有效降低由于類別不獨(dú)立導(dǎo)致的計(jì)算誤差，本文對(duì)基于正交分解的類中心分類用于中文文本分類的效果和基于仿射空間和正交分解的類中心分類法進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明無論從整體混淆矩陣、總體查全率、查對(duì)率、以及各個(gè)類的查全率、查對(duì)率方面，基于仿射空間和正交