廣義線性模型中糾編估計的再回歸方法.pdf

1、廣義線性模型在經(jīng)濟(jì)、生物、醫(yī)學(xué)等領(lǐng)域中有著廣泛地運用。然而隨著實驗樣本的增加，特別是當(dāng)維數(shù)p遠(yuǎn)大于樣本數(shù)量n時，傳統(tǒng)的估計方法選不出真實的模型。在這樣的高維問題中，我們用懲罰來做模型的變量選擇，即把無用的變量系數(shù)壓縮為零，而把真正起作用的回歸參數(shù)保留下來。
　　 考慮廣義線性模型Yi=G（Xiβ）+εi，i=1，…，n其中Y服從指數(shù)族分布f（y.口，(ψ)）=exp{y0-b(0)/a((ψ))+c(y.(ψ))}它的變量選擇有

2、以下幾種基本方法:
　　 第一，LASSO方法
　　 (β)n(glm)=argminβnΣi=1[-yi(XTiβ)+b(XTiβ)]+λnpnΣj=1|βj|
　　 第二，Dantzigselector
　　 min||β||1subj(e)ctto||l(″)（(β)mle）(β-(β)mle)||∞≤λ
　　 第三，Bridge方法
　　 (β)n(glm)=armminβnΣi=

3、1[yi-G(XTiβ)]2+λnpnΣj=1|βj|r
　　 雖然這些方法解決了用超多變量來做估計的困難，但是它們都把有顯著意義的變量給壓縮了。這種偏差會隨著p的增大而顯著增加。本文研究了估計參數(shù)的期望與懲罰參數(shù)之間的關(guān)系。發(fā)現(xiàn)三種方法在一定的條件下，都有統(tǒng)一的關(guān)系式。如下所示(β)λκ=β+(φ)(β,μ)/nλκ+(ε)κ因而由這個統(tǒng)一形式，我們重新建立一個線性回歸模型，把(β)λk看成Y，把λk看成X。很顯然，線性模型的