高維稀疏數(shù)據(jù)的Lasso和Dantzig Selector方法——高維稀疏線性回歸模型.pdf

1、近年來,高維統(tǒng)計數(shù)據(jù)分析成為統(tǒng)計學研究的熱點,幾乎所有的大牛統(tǒng)計學家都在研究.高維稀疏數(shù)據(jù)問題就是其中一類特殊問題.當變量或特征個數(shù)遠大于樣本個數(shù)時,很多特征都是噪聲而不是信號,它們會影響我們的分析結(jié)果.例如,在基因芯片里,基因個數(shù)成千上萬,而觀測個體只有幾十或者幾百個.從生物學上說,和某種疾病相關的基因也就幾十到幾百個,剩余的基因都是和疾病無關的.這就產(chǎn)生了一個統(tǒng)計問題,如何提取感興趣的特征.我們一般把它稱為特征選擇或變量選擇.目前,

2、比較流行的高維數(shù)據(jù)的變量選擇方法有兩種:一種是美國斯坦福大學統(tǒng)計系教授Tibshirani提出的稱之為Lasso的變量選擇方法;另一種是Candes等提出的Dantzig Selector估計.
　　這兩種方法在高維線性回歸模型中表現(xiàn)了很好的性質(zhì).本文中,我們主要研究利用這兩種方法對模型中的未知參數(shù)進行估計和預測.在高維線性回歸模型中,對參數(shù)的估計和預測的研究主要是:假定設計陣滿足一定的條件,然后根據(jù)誤差項的特點對未知參數(shù)進行估計

3、和預測.目前,關于設計陣滿足的條件的研究很多,其中,2007年,Bickel等提出的限制特征值假設是應用很普遍且較弱的條件之一,當設計陣滿足該假設條件時得到的結(jié)論對后來的研究具有重要的影響.后來,統(tǒng)計學家們利用該假設得到了很多相關的結(jié)論,但是這些結(jié)論均依賴于模型中未知參數(shù)的稀疏水平的大小.
　　2012年初,Wang等提出了與Bickel等的限制特征值假設等價的假設,且在其提出的假設下極大地改進了已有的結(jié)論.更重要的是,在該假設下

4、得到的結(jié)論不依賴于未知參數(shù)稀疏水平的大小.因此,該假設的提出,使得高維情形下未知參數(shù)的估計和預測的研究有了更進一步的發(fā)展.值得注意的是,在Bickel等、Wang等的研究中,均假設誤差項服從正態(tài)分布,且方差已知.然而,在實際應用中,誤差項的方差往往是未知的,或者誤差項的分布不確定.本文考慮誤差項分布不確定的情形.
　　本文的主要工作和創(chuàng)新:1)利用Lasso和Dantizg Selector兩種方法,研究高維稀疏線性回歸模型中未知