模式分類中特征選擇問題的研究.pdf

1、特征選擇在數(shù)據(jù)分析和預處理步驟中發(fā)揮著重要的作用，通過特征選擇可以刪除無關、冗余的信息，降低訓練樣本的維數(shù)、降低算法的復雜度和噪音的干擾，提高模型的推廣能力，因而在分類問題中起著很重要的作用。一個特征選擇的過程在原理上可以看成是一個組合優(yōu)化過程：在原有的特征中選擇其中的一部分，使某個給定的評價函數(shù)最優(yōu)。 特征選擇框架指出一個特征選擇算法是由“特征子集生成”、“特征子集評價”、“停止條件”和“結果驗證”四個部分組成的。 首

2、先，本文基于這個框架，總結歸納了常用特征選擇算法的搜索策略和評價準則。 然后，本文研究了常用的幾種搜索算法：B&B算法、連續(xù)選擇算法、增1減r法、浮動搜索算法。本文給出了這幾種搜索算法在同一數(shù)據(jù)集上基于類內類間距離這一評價準則下的實驗結果，并進行了比較，驗證了理論分析。 其次，本文詳細分析了評價準則中的互信息對于特征選擇的意義，以及從樣本出發(fā)來計算互信息量的方法。采用窗函數(shù)估計的非參數(shù)密度估計方法，實現(xiàn)了一種基于互信息量