若干特征篩選方法及其模擬研究.pdf

1、在實際中，為了應用回歸分析方法，人們通常首先要對回歸自變量進行選擇，以剔除掉對因變量的影響較弱的自變量。當自變量的維數(shù)p比樣本容量n小或者p相對于n來說不是很大時，變量選擇問題有許多成熟的有效的方法，如Lasso、 Adaptive Lasso、Elastic Net、SCAD等方法。近幾年來，隨著數(shù)據(jù)收集技術的發(fā)展以及數(shù)據(jù)收集成本的下降，高維數(shù)據(jù)甚至超高維數(shù)據(jù)越來越多地出現(xiàn)在科學的各個領域中。所謂的超高維數(shù)據(jù)是指p遠遠大于n的情況。這

2、所謂的“大p小n”問題給上述方法帶來了嚴重的挑戰(zhàn)，如統(tǒng)計的精確性、模型的可解釋性、算法的復雜度等。針對這樣的超高維數(shù)據(jù)，統(tǒng)計學者們提出了所謂的特征篩選方法，即從這非常多的p個變量中剔除對因變量影響較小的變量，這樣就可以對保留下來的自變量進行精確的選擇并估計參數(shù)。經(jīng)常使用的一些特征篩選方法包括:SIS、SIRS、NRS、DC-SIS、RRCS等。統(tǒng)計學家已經(jīng)證明這些方法具有良好的性質，如確定篩選性質、選擇相合性質等，這就可以確保它們能進行

3、有效的特征篩選。
　　本文旨在對這些常用的特征篩選方法進行全面的介紹與比較分析。文章首先詳細地介紹這些特征篩選方法，包括它們的理論依據(jù)、估計量、篩選準則以及理論性質等，并對它們采用的準則、適用的模型范圍、以及優(yōu)缺點等進行了比較分析;從理論上對這些方法以及它們的異同有了明確的認識。然后，文章又通過數(shù)值模擬研究對這些方法的篩選效果進行了對比分析。本文設置的模型考慮了自變量之間不同的相關性、不同的誤差分布、不同的活躍預測變量個數(shù)等諸多情

4、況;通過模擬研究，對這些方法的適用范圍以及模擬效果有了直觀的印象。
　　分析模擬結果可以發(fā)現(xiàn)，這幾種方法的模擬效果和它們的理論性質基本是吻合的，它們都能較好地進行特征篩選。在線性模型下，只要信噪比不是很小，本文研究的這幾種方法都有很好的模擬效果，能準確地對預測變量進行排序和篩選;在本文設置的這幾種模擬情形下，SIS方法只在誤差分布非厚尾的線性模型下有良好的篩選效果，SIRS方法在多指標模型和變換模型下的篩選效果比較理想，NRS方法

5、和RRCS方法都在厚尾分布、多指標模型、變換模型以及非參數(shù)模型下的有著不錯的篩選效果，DC-SIS方法在厚尾分布和非參數(shù)模型下的模擬結果有明顯的改善;而在預測變量與響應變量對稱相關的設置下，本文的模擬試驗結果表明，沒有哪一種方法明顯地優(yōu)于其它方法。
　　隨著大數(shù)據(jù)時代的到來，超高維數(shù)據(jù)越來越多地出現(xiàn)在科學研究以及人們的生活中。因此研究特征篩選的方法不但具有重要的理論意義，而且也有著重要的實用價值。本文通過理論介紹以及模擬研究認為，