基于隨機森林的代價敏感特征選擇研究.pdf

1、特征選擇是機器學(xué)習和數(shù)據(jù)挖掘的基礎(chǔ)內(nèi)容之一。傳統(tǒng)的、與代價敏感學(xué)習相關(guān)的特征選擇研究往往關(guān)注的是樣本的錯誤分類代價，而特征代價本身，作為另一種代價類型經(jīng)常被忽略。實際上，特征的代價是固有的而且可能有很大的差異，例如在醫(yī)療診斷中不同醫(yī)學(xué)測試在金錢、時間等方面的花費通常差別很大。如何在特征選擇中體現(xiàn)這種特征代價的差異性，尋找兼有分類能力和低廉成本的特征子集是本文研究的課題。
　　本文分析了獲得“物美價廉”的特征子集的可行性在于存在代價

2、不同的冗余特征。為了合理地反映代價的作用，我們將代價轉(zhuǎn)化為概率，并把這種概率應(yīng)用到隨機森林的框架下，構(gòu)成特征代價敏感的隨機森林(FCS-RF)。FCS-RF同普通的隨機森林相比，特征被用到的概率（及頻率）會受到代價的干擾，這種干擾繼而體現(xiàn)在對特征重要性的評估上，使生成的特征重要性排序具有代價敏感性。具體地，我們給出三種方法構(gòu)建FCS-RF，一是在樹的生長過程中令節(jié)點分裂時每個特征被選中的概率與它的代價成反比;二是對所有的特征按照一定概率

3、分布進行復(fù)制，使得復(fù)制后特征的數(shù)量的比例和代價成反比;三是每次建樹前對訓(xùn)練集定量添加少數(shù)特征，這些特征按照和代價成反比的概率分布來生成。這三種方法，分別稱作概率選擇法、特征復(fù)制法、特征添加法，本質(zhì)上，都是為了降低高成本特征被用的概率（提高低成本特征被用的概率），從而實現(xiàn)代價敏感的特征排序（選擇）。在大量數(shù)據(jù)集上的實驗表明這三種方法是有效的。特別地，應(yīng)用在具有真實代價的兩個數(shù)據(jù)集，KDD99大型數(shù)據(jù)集和自行收集的乙肝數(shù)據(jù)集上，我們的方法取