充分降維理論和方法的拓展研究.pdf

1、這篇論文致力于對(duì)充分降維領(lǐng)域中一些理論的深入研究以及方法上的延伸。
　　 在充分降維領(lǐng)域中有兩個(gè)重要的話題。第一個(gè)是估計(jì)中心（均值）降維空間的基方向。而經(jīng)典降維方法基方向樣本估計(jì)的大樣本性質(zhì)至今仍不明了。為了進(jìn)一步了解這些常用降維方法特別是基方向估計(jì)的理論性質(zhì)，在這篇論文中我們首先研究了這些方法的核矩陣以及基方向樣本估計(jì)的二階漸近性質(zhì)。我們推導(dǎo)了四種常見(jiàn)的降維方法，包括切片逆回歸(Sliced Inverse Regressio

2、n，SIR，Li，1991)，切片平均方差估計(jì)(Sliced Average Variance Estimation，Cook and Weisberg，1991)，海賽主方向(Principal Hessian Direction，Li，1992)和方向回歸(Directional Regression，Li andWang,2007)，它們樣本估計(jì)的二階漸近展開(kāi)式。利用這些降維方法的二階漸近展式，我們可以進(jìn)一步考慮糾正其O（n-1）

3、偏差以提高估計(jì)的精度。從已經(jīng)得到的二階漸近展式中，我們可以求出降維方法方向估計(jì)二階偏差的顯示表達(dá)式，繼而可以很容易得到二階偏差的相合樣本估計(jì)。我們隨后提出一種一般的降維方法的偏差糾正策略，其思想很簡(jiǎn)單：即是將某一種降維方法基方向的樣本估計(jì)減去其二階偏差的樣本估計(jì)。并且我們證明了經(jīng)過(guò)偏差糾正后，這些降維方法方向估計(jì)的偏差被縮小到O（n-2）。
　　 充分降維領(lǐng)域中的另一個(gè)重要的問(wèn)題是決定中心（均值）降維子空間的結(jié)構(gòu)維數(shù)。常用的選取

4、結(jié)構(gòu)維數(shù)的方法都有其局限性。序貫檢驗(yàn)法依賴于檢驗(yàn)的顯著性水平。重抽樣方法的運(yùn)算量過(guò)大。Zhu，Miao and Peng(2006)提出的BIC準(zhǔn)則雖然可以相合的估計(jì)結(jié)構(gòu)維數(shù)，但如何基于數(shù)據(jù)選取最優(yōu)的懲罰函數(shù)是一個(gè)難題。更重要的是，一般充分降維的過(guò)程分為兩步，首先是決定維數(shù)，然后再選取相應(yīng)的基方向．論文的第二部分基于對(duì)降維方法核矩陣樣本特征值的壓縮估計(jì)提出一種稀疏譜分解方法用以決定結(jié)構(gòu)維數(shù)。該方法的主要思路是通過(guò)建立矩陣譜分解與最小二乘

5、之間的聯(lián)系，然后利用Zou(2006)所提出的自適應(yīng)性最小絕對(duì)縮減和變量選擇算子得到樣本特征值的稀疏估計(jì)。和以往降維方法的兩步估計(jì)不同，稀疏譜分解方法可以同時(shí)估計(jì)結(jié)構(gòu)維數(shù)和中心（均值）降維子空間的基方向。同時(shí)我們還證明了稀疏譜分解方法具有Oracle性質(zhì)，本文的第三部分是將非參數(shù)方法B樣條用以估計(jì)降維方法SIP和SAVE的核矩陣．和已有的切片方法以及核估計(jì)方法相比，B樣條方法估計(jì)精度更高并且也同樣計(jì)算簡(jiǎn)單。另外我們修正了Zhu，Miao

6、 and Peng(2006)所提出的BIC準(zhǔn)則。修正的目的是為了平衡BIC準(zhǔn)則中的主項(xiàng)與懲罰項(xiàng)，使得其數(shù)量級(jí)大致相仿．這種修正的BIC準(zhǔn)則在估計(jì)結(jié)構(gòu)維數(shù)方面的精度較之傳統(tǒng)方法也有所提高。
　　 對(duì)于半?yún)?shù)模型的降維一般有兩個(gè)出發(fā)點(diǎn)：一是找出模型中可能存在的變量的線性組合，二是選擇模型中的重要變量。其中第一點(diǎn)就是充分降維的概念。而第二點(diǎn)是當(dāng)前統(tǒng)計(jì)學(xué)界非常熱門的話題：變量選擇。本文的第四部分提出一種同時(shí)進(jìn)行充分降維和變量選擇的新方

7、法。受到Candes and Tao(2007)一文的啟發(fā)，我們借鑒DantzigSelector對(duì)SIR方法進(jìn)行了規(guī)范化。這種新方法的本質(zhì)是在從SIR的譜分解形式中求解基方向與極小化基方向1模長(zhǎng)之間的一種折中方案。我們所提出的這種新的充分降維與變量選擇相結(jié)合的方法，在樣本量n小于變量維數(shù)p的情形下仍然行之有效。當(dāng)變量維數(shù)p固定時(shí)，我們得到了這種新方法的相合性和漸近正態(tài)性。當(dāng)變量維數(shù)P和n以一定形式趨向于無(wú)窮時(shí)（需要指出的是p>n情形只

8、是這種形式的特殊情形），我們得到了這種方法估計(jì)的誤差上界。
　　 最后我們基于方向回歸提出一種不基于模型假設(shè)的變量顯著性檢驗(yàn)。我們推導(dǎo)了在原假設(shè)下所提出的統(tǒng)計(jì)量的漸近分布。另外基于統(tǒng)計(jì)量的漸近性質(zhì)，我們提出了兩種非常簡(jiǎn)單的不基于模型假設(shè)的變量選擇方法。這兩種新方法不同于當(dāng)前流行的變量選擇方法比如最小絕對(duì)縮減和變量選擇算子(Least A bsolute Shrinkage and SelectionOperator，LASSO，

9、Tibshirani,1996)的地方在于：不依賴模型假設(shè)而且也不是懲罰似然的思路。并且我們證明了在一定條件下這兩種新的變量選擇方法可以幾乎以趨向于1的概率選對(duì)重要變量。
　　 通過(guò)大量的模擬實(shí)驗(yàn)我們比較了本文中提出的各方法和一些已有的方法，進(jìn)而驗(yàn)證了這些新方法的有效性，另外我們還將這些方法用于分析各種實(shí)際數(shù)據(jù)，比如棒球擊打手的年薪數(shù)據(jù)，貝類生物horse mussel數(shù)據(jù)，淋巴癌數(shù)據(jù)以及波士頓房?jī)r(jià)數(shù)據(jù)，說(shuō)明了這些方法的應(yīng)用價(jià)值