基于潛在語義索引和VAR-Tree的文本分類研究.pdf

1、當前,在以互聯(lián)網為代表的信息技術廣泛普及的基礎上,移動互聯(lián)網、云計算等新興信息技術快速發(fā)展,人們通過微博、社交網絡等各種信息媒介相互交流。方便了人們生活工作學習的同時,大規(guī)模海量真實信息的爆炸式出現,如何從海量信息中準確并且高效地獲取有用信息已經成為一個具有非常重要現實和理論意義的研究課題。文本自動分類作為處理和組織大量文本數據的基礎技術應運而生。文本自動分類簡稱文本分類(Text Categorization,TC)作為信息檢索和數據

2、挖掘的基礎技術和研究熱點,從上個世紀50年代末至今,得到廣泛關注并已取得長足發(fā)展。廣泛應用于垃圾郵件過濾、網絡內容管理、本體映射、電話會議等各個方面。
　　本文詳細闡述中文文本分類及相關技術理論包括:文本預處理、文本表示、特征選擇、特征權重計算、分類效果的評價指標、文本分類算法。然后對向量空間模型(Vector Space Model,VSM)和傳統(tǒng)K‐最近鄰(K‐Nearest Neighbor,KNN)分類算法進行優(yōu)缺點分析,

3、并在分析結果基礎之上做出改進。主要做了如下研究工作:
　　首先,針對傳統(tǒng)向量空間模型忽略語義信息的缺點,以潛在語義索引/奇異值分解(Latent Semantic Indexing/Singular Value Decomposition,LSI/SVD)為技術手段,對傳統(tǒng)向量空間模型加以改進和擴展。在訓練文本集的詞‐文本矩陣基礎上進行奇異值分解,構建出語義空間代替原來基于特征項(關鍵詞)的向量空間。在保留向量空間模型直觀表示和便

4、于計算的優(yōu)勢同時,LSI模型一方面可以消除同義詞和多義詞帶來的不利影響,提取出文本潛在語義信息并突顯出這一特點,更加準確地描述文本;另一方面可以排除大量無用的、干擾分類的“維數噪聲”。有效地提高了文本分類的精確度。實驗表明:基于LSI的分類算法比基于VSM的分類算法在準確率方面有所提高。
　　其次,運用高維數據索引結構VAR‐Tree改進傳統(tǒng)KNN算法效率低下這一局限性。傳統(tǒng)KNN算法忽視訓練階段,放棄訓練規(guī)則,只是簡單地把訓練樣

5、本存儲起來;當待分類文本進行測試時,將其與所有的訓練樣本一一計算相似度,進行分類判別,時間復雜度太高,導致算法效率低下。針對訓練樣本具有同類聚集、異類分散的大體分布特點,運用VAR‐Tree對訓練樣本進行整理劃分排序,改進的KNN算法在測試階段只需要在VAR‐Tree中搜索K個最近鄰,而不必與訓練樣本一一計算。在減少文本查詢量的同時提高查詢速度,從而提高算法效率。實驗結果證明:在不降低原有分類準確率的前提下,改進算法在效率方面有明顯的提