均衡RLT交叉驗(yàn)證方法.pdf

1、在統(tǒng)計(jì)機(jī)器學(xué)習(xí)中，RepeatedLearningTest(RLT)交叉驗(yàn)證是交叉驗(yàn)證方法中最常用的方法之一.RLT是對(duì)一個(gè)給定數(shù)據(jù)集的多次切分，進(jìn)行多次重復(fù)的訓(xùn)練、測(cè)試，并按多次的平均來(lái)估計(jì)模型的泛化誤差.即，從給定數(shù)據(jù)集中隨機(jī)取出一部分作為訓(xùn)練集，剩下的部分作為測(cè)試集，在訓(xùn)練集上訓(xùn)練模型，在測(cè)試集上估計(jì)泛化誤差（每個(gè)估計(jì)，稱(chēng)為泛化誤差held-out估計(jì)），然后重復(fù)這個(gè)過(guò)程，最后以多次測(cè)試結(jié)果的泛化誤差的估計(jì)的平均作為泛化誤差的估計(jì)

2、（稱(chēng)為泛化誤差的RLT估計(jì)）.
　　然而泛化誤差的RLT估計(jì)的方差與數(shù)據(jù)集的切分方式有著密切的關(guān)系.本文通過(guò)模擬實(shí)驗(yàn)和真實(shí)數(shù)據(jù)上的實(shí)驗(yàn)表明，任意兩次held-out之間的協(xié)方差與訓(xùn)練集的重疊樣本個(gè)數(shù)有關(guān)，重疊樣本個(gè)數(shù)越多，則協(xié)方差越大.傳統(tǒng)的RLT交叉驗(yàn)證方法是對(duì)數(shù)據(jù)集的多次隨機(jī)切分，任意兩次切分之間的重疊樣本個(gè)數(shù)是一個(gè)服從超幾何分布的隨機(jī)變量，這個(gè)隨機(jī)變量增大了RLT估計(jì)的方差.
　　為此，本文給出了一種BalancedR

3、epeatedLearningTest的數(shù)據(jù)集切分的交叉驗(yàn)證方法，稱(chēng)為均衡RLT交叉驗(yàn)證方法，簡(jiǎn)記為BRLT.也即，使得每個(gè)樣本在訓(xùn)練集中出現(xiàn)的次數(shù)相同，并且任意兩個(gè)切分之間的訓(xùn)練重疊樣本個(gè)數(shù)也相同.首先，本文從理論上證明了，若任意兩次held-out估計(jì)的協(xié)方差是訓(xùn)練集重疊樣本個(gè)數(shù)的下凸且單調(diào)遞增函數(shù)，則BRLT交叉驗(yàn)證下的泛化誤差的RLT估計(jì)（簡(jiǎn)稱(chēng)為BRLT估計(jì)）的方差達(dá)到最小.其次，基于兩水平正交表，給出了若干情形下的BRLT交叉

4、驗(yàn)證方法的構(gòu)造方法以及相應(yīng)的構(gòu)造算法.
　　本文通過(guò)大量的模擬實(shí)驗(yàn)和真實(shí)數(shù)據(jù)的實(shí)驗(yàn)，驗(yàn)證了任意兩次held-out之間的協(xié)方差是訓(xùn)練集重疊樣本個(gè)數(shù)的下凸且單調(diào)遞增函數(shù).本文在多個(gè)回歸模型、分類(lèi)模型下，對(duì)BRLT估計(jì)的方差與隨機(jī)切分的RLT估計(jì)的方差的進(jìn)行比較，可以看出BRLT估計(jì)明顯地降低了泛化誤差估計(jì)的方差.特別地，在對(duì)半切分?jǐn)?shù)據(jù)情形下，文獻(xiàn)中均衡的m×2交叉驗(yàn)證方法也是常用的方法，本文對(duì)均衡的m×2交叉驗(yàn)證估計(jì)的方差與BRLT