基于Boosting思想的文本特征選擇研究.pdf

1、文本分類是處理和組織大量文本數(shù)據(jù)的關鍵技術。在文本分類中,特征空間的維數(shù)高達幾萬,導致樣本統(tǒng)計特性的評估變得十分困難,甚至會降低分類模型的泛化能力,出現(xiàn)“過學習”的現(xiàn)象。因此,有效的維數(shù)約減可以提高分類任務的效率和分類性能。 本文關注的是特征選擇問題,研究如何運用Boosting思想更好的實現(xiàn)文本分類中的特征選擇。由于Boosting思想從提出到理論研究以及眾多的實驗都是針對分類問題的,并不能直接用于本文。本文提出在Boosti

2、ng算法的框架下,不斷的改變樣本分布,選擇在一次迭代中最具有類別區(qū)分能力的特征進入特征子集。本文在Boosting特征選擇方法的研究中遇到兩個關鍵問題:Boosting的循環(huán)終止條件和特征數(shù)量問題。對于前者,本文給出了三種方案：限定循環(huán)次數(shù)、訓練錯誤不變、特征子集不變；通過實驗對三種方案進行比較并得出結論。對于后者,研究特征選擇時理論上可能出現(xiàn)的兩種極端現(xiàn)象：所有特征都被選擇,或者很少的幾個特征被重復選擇；實驗表明這兩種極端現(xiàn)象都沒有出

3、現(xiàn)。 特征選擇目前沒有一種較為獨立的評價體系,往往直接跳步至分類的評價,本文通過引入更多分析加以彌補。Boosting的訓練錯誤分析和泛化錯誤分析增強了Boosting理論上的支持。本文從兩個方面分析比較特征選擇方法,一方面比較過程,另一方面比較特征選擇結果。從過程上,可以對比不同方法的目標函數(shù)、參數(shù)、限制等問題。從結果上,通過分析排名靠前的特征發(fā)現(xiàn),Boosting方法選的特征覆蓋大部分類別,而其他方法則只覆蓋少數(shù)幾個類別。