基于蜂群算法和改進KNN的文本分類研究.pdf

1、隨著網(wǎng)絡技術的飛速發(fā)展,文本信息量成幾何級數(shù)增長,人們可獲得的網(wǎng)絡信息資源越來越多。面對海量信息,人們對快速、準確且全面獲取信息的渴望與信息的雜亂無序、各類數(shù)據(jù)爆發(fā)式的增長產(chǎn)生了矛盾。而文本分類作為處理和組織大量文本數(shù)據(jù)的關鍵技術,可在較大程度上解決信息雜亂問題,對于信息的高效管理和有效利用都具有極其現(xiàn)實的意義,并已成為數(shù)據(jù)挖掘領域中一個重要的研究方向。本文在分析和總結文本分類中文本預處理、特征選擇、文本表示模型、分類方法和分類性能評價

2、的基礎上,對特征選擇、分類方法進行了深入研究。
　　本文的主要研究工作如下:
　　(1)針對文本分類中初始特征空間維數(shù)過高、初始特征集大量冗余,從而導致分類精度的下降的問題,提出了一種基于模擬退火機制的蜂群優(yōu)化特征選擇算法,對初始特征集進行有效降維從而達到提高分類精度的效果。該方法中,以蜂群算法流程為主體,把模擬退火機制引入其中,選擇合適的蜂群數(shù)量和溫度下降函數(shù),并通過實驗與與卡方統(tǒng)計、信息增益和互信息等算法進行對比,從而證

3、明該特征選擇方法對于提高文本分類性能是較為有效的。
　　(2)針對傳統(tǒng)KNN算法在處理大數(shù)據(jù)集時的不足,本文提出一種基于聚類去噪及密度裁剪的改進KNN算法。該算法通過聚類手段進行去噪處理,并且通過加快K近鄰的搜索速度提高KNN算法的分類效率,同時保持 KNN算法的分類精度。通過實驗證明,該算法能夠有效的提高KNN算法在處理大數(shù)據(jù)集時的分類效率,并且很好的保持了KNN算法的分類精度,具有良好的分類性能。
　　本文通過對文本分類