基于改進擴展彈性網絡的多類別特征選擇方法研究.pdf

1、特征選擇是統(tǒng)計模式識別中的一個基本步驟和重要任務，并被廣泛的應用于圖像處理、文本挖掘、計算神經學以及生物信息學等諸多領域。在這些實際應用中，研究對象的觀測值（即樣本）雖然含有大量的特征，但對于某個特定的識別任務來說，這些特征并非都是相關的有效特征，也同時存在冗余的或是與任務不相關的噪聲特征。這些噪聲嚴重影響分類精度。為解決這一問題，特征選擇技術應運而生。特征選擇旨在從樣本的所有特征中將相關的有效特征挑選出來，同時將不相關的特征剔除。另一

2、方面，特征選擇也可以避免由于樣本的特征數(shù)過多導致的維數(shù)災難，降低模式識別的時間開銷。樣本的特征維數(shù)越高，特征選擇的重要性也就越發(fā)突顯出來。為了挑選出相關的、低冗余的更好的特征子集，研究者們提出了不同的優(yōu)化方案。如最小冗余最大相關性特征選擇(mRMR)方法，全局冗余最小化(GRM)方法，不相關LASSO(ULASSO)方法，等等。在前入研究的基礎上，本文從一個新的角度提出了優(yōu)化的特征選擇方法，并提出了相應的有效算法。
　　本文的主要

3、研究內容有以下三部分:
　　(1)彈性網絡(EN)模型與常用的最小絕對收縮和選擇算子(LASSO)相比，在選擇相當數(shù)量的特征的情況下，EN模型的效果要優(yōu)于LASSO。特別是在樣本所含特征數(shù)遠遠大于樣本數(shù)時，EN的效果比LASSO更令人滿意。出于這種考慮，本文將特征與類別之間的相關性作為約束，以權重的形式融入EN模型中，提出了基于區(qū)分性彈性網絡的二類別特征選擇(TFS_DEN)方法。通過對回歸系數(shù)加權的方式，在目標函數(shù)的優(yōu)化過程中，

4、使對應于與類別標簽具有強相關性的特征的回歸系數(shù)變大，反之則被壓縮。這樣一來，回歸系數(shù)的區(qū)分性被放大，挑選出的特征與類別的相關性更強，同時有利于提高分類準確率。在這一部分選取兩種相關性度量，并給出相應的4種不同形式的權重。對于TFS_DEN，在這一部分還給出了有效的迭代求解算法以及與算法相對應的收斂性證明。在多個二類數(shù)據(jù)集上的相關實驗結果說明了TFS_DEN的性能優(yōu)于一些現(xiàn)有的特征選擇方法。美中不足的是，TFS_DEN方法僅能處理只包含兩

5、類樣本的特征選擇問題。
　　(2)本文進一步將TFS_DEN方法擴展到多類別的情況，使其適用于更多的實際應用問題，形成基于區(qū)分性擴展彈性網絡的多類別特征選擇(MFS_DEEN)方法。由于問題被擴展到多類別的情況，TFS_DEN中的權重形式不再適用。因此，針對MFS_DEEN給出了不同于TFS_DEN的4種權重形式，同時提出了不同于TFS_DEN的新的有效迭代求解算法，并給出了相應的收斂性證明。在多個多類別數(shù)據(jù)集上進行了相關實驗，其