基于Boosting思想的文本特征選擇研究.pdf

1、文本分類是處理和組織大量文本數(shù)據(jù)的關(guān)鍵技術(shù)。在文本分類中,特征空間的維數(shù)高達(dá)幾萬,導(dǎo)致樣本統(tǒng)計(jì)特性的評(píng)估變得十分困難,甚至?xí)档头诸惸Ｐ偷姆夯芰?出現(xiàn)“過學(xué)習(xí)”的現(xiàn)象。因此,有效的維數(shù)約減可以提高分類任務(wù)的效率和分類性能。 本文關(guān)注的是特征選擇問題,研究如何運(yùn)用Boosting思想更好的實(shí)現(xiàn)文本分類中的特征選擇。由于Boosting思想從提出到理論研究以及眾多的實(shí)驗(yàn)都是針對(duì)分類問題的,并不能直接用于本文。本文提出在Boosti

2、ng算法的框架下,不斷的改變樣本分布,選擇在一次迭代中最具有類別區(qū)分能力的特征進(jìn)入特征子集。本文在Boosting特征選擇方法的研究中遇到兩個(gè)關(guān)鍵問題:Boosting的循環(huán)終止條件和特征數(shù)量問題。對(duì)于前者,本文給出了三種方案：限定循環(huán)次數(shù)、訓(xùn)練錯(cuò)誤不變、特征子集不變；通過實(shí)驗(yàn)對(duì)三種方案進(jìn)行比較并得出結(jié)論。對(duì)于后者,研究特征選擇時(shí)理論上可能出現(xiàn)的兩種極端現(xiàn)象：所有特征都被選擇,或者很少的幾個(gè)特征被重復(fù)選擇；實(shí)驗(yàn)表明這兩種極端現(xiàn)象都沒有出

3、現(xiàn)。 特征選擇目前沒有一種較為獨(dú)立的評(píng)價(jià)體系,往往直接跳步至分類的評(píng)價(jià),本文通過引入更多分析加以彌補(bǔ)。Boosting的訓(xùn)練錯(cuò)誤分析和泛化錯(cuò)誤分析增強(qiáng)了Boosting理論上的支持。本文從兩個(gè)方面分析比較特征選擇方法,一方面比較過程,另一方面比較特征選擇結(jié)果。從過程上,可以對(duì)比不同方法的目標(biāo)函數(shù)、參數(shù)、限制等問題。從結(jié)果上,通過分析排名靠前的特征發(fā)現(xiàn),Boosting方法選的特征覆蓋大部分類別,而其他方法則只覆蓋少數(shù)幾個(gè)類別。