基于潛在語(yǔ)義索引和VAR-Tree的文本分類研究.pdf

1、當(dāng)前,在以互聯(lián)網(wǎng)為代表的信息技術(shù)廣泛普及的基礎(chǔ)上,移動(dòng)互聯(lián)網(wǎng)、云計(jì)算等新興信息技術(shù)快速發(fā)展,人們通過(guò)微博、社交網(wǎng)絡(luò)等各種信息媒介相互交流。方便了人們生活工作學(xué)習(xí)的同時(shí),大規(guī)模海量真實(shí)信息的爆炸式出現(xiàn),如何從海量信息中準(zhǔn)確并且高效地獲取有用信息已經(jīng)成為一個(gè)具有非常重要現(xiàn)實(shí)和理論意義的研究課題。文本自動(dòng)分類作為處理和組織大量文本數(shù)據(jù)的基礎(chǔ)技術(shù)應(yīng)運(yùn)而生。文本自動(dòng)分類簡(jiǎn)稱文本分類(Text Categorization,TC)作為信息檢索和數(shù)據(jù)

2、挖掘的基礎(chǔ)技術(shù)和研究熱點(diǎn),從上個(gè)世紀(jì)50年代末至今,得到廣泛關(guān)注并已取得長(zhǎng)足發(fā)展。廣泛應(yīng)用于垃圾郵件過(guò)濾、網(wǎng)絡(luò)內(nèi)容管理、本體映射、電話會(huì)議等各個(gè)方面。
　　本文詳細(xì)闡述中文文本分類及相關(guān)技術(shù)理論包括:文本預(yù)處理、文本表示、特征選擇、特征權(quán)重計(jì)算、分類效果的評(píng)價(jià)指標(biāo)、文本分類算法。然后對(duì)向量空間模型(Vector Space Model,VSM)和傳統(tǒng)K‐最近鄰(K‐Nearest Neighbor,KNN)分類算法進(jìn)行優(yōu)缺點(diǎn)分析,

3、并在分析結(jié)果基礎(chǔ)之上做出改進(jìn)。主要做了如下研究工作:
　　首先,針對(duì)傳統(tǒng)向量空間模型忽略語(yǔ)義信息的缺點(diǎn),以潛在語(yǔ)義索引/奇異值分解(Latent Semantic Indexing/Singular Value Decomposition,LSI/SVD)為技術(shù)手段,對(duì)傳統(tǒng)向量空間模型加以改進(jìn)和擴(kuò)展。在訓(xùn)練文本集的詞‐文本矩陣基礎(chǔ)上進(jìn)行奇異值分解,構(gòu)建出語(yǔ)義空間代替原來(lái)基于特征項(xiàng)(關(guān)鍵詞)的向量空間。在保留向量空間模型直觀表示和便

4、于計(jì)算的優(yōu)勢(shì)同時(shí),LSI模型一方面可以消除同義詞和多義詞帶來(lái)的不利影響,提取出文本潛在語(yǔ)義信息并突顯出這一特點(diǎn),更加準(zhǔn)確地描述文本;另一方面可以排除大量無(wú)用的、干擾分類的“維數(shù)噪聲”。有效地提高了文本分類的精確度。實(shí)驗(yàn)表明:基于LSI的分類算法比基于VSM的分類算法在準(zhǔn)確率方面有所提高。
　　其次,運(yùn)用高維數(shù)據(jù)索引結(jié)構(gòu)VAR‐Tree改進(jìn)傳統(tǒng)KNN算法效率低下這一局限性。傳統(tǒng)KNN算法忽視訓(xùn)練階段,放棄訓(xùn)練規(guī)則,只是簡(jiǎn)單地把訓(xùn)練樣

5、本存儲(chǔ)起來(lái);當(dāng)待分類文本進(jìn)行測(cè)試時(shí),將其與所有的訓(xùn)練樣本一一計(jì)算相似度,進(jìn)行分類判別,時(shí)間復(fù)雜度太高,導(dǎo)致算法效率低下。針對(duì)訓(xùn)練樣本具有同類聚集、異類分散的大體分布特點(diǎn),運(yùn)用VAR‐Tree對(duì)訓(xùn)練樣本進(jìn)行整理劃分排序,改進(jìn)的KNN算法在測(cè)試階段只需要在VAR‐Tree中搜索K個(gè)最近鄰,而不必與訓(xùn)練樣本一一計(jì)算。在減少文本查詢量的同時(shí)提高查詢速度,從而提高算法效率。實(shí)驗(yàn)結(jié)果證明:在不降低原有分類準(zhǔn)確率的前提下,改進(jìn)算法在效率方面有明顯的提