基于弱相關(guān)抽樣的正則化學(xué)習(xí)算法的一致性分析.pdf

1、學(xué)習(xí)理論自產(chǎn)生以來(lái),已迅速發(fā)展成為一門既有理論又有應(yīng)用的學(xué)科,其兩方面的研究都取得了豐碩的成果。它試圖在數(shù)學(xué)框架下對(duì)學(xué)習(xí)領(lǐng)域中使用的各種算法進(jìn)行解釋,其核心內(nèi)容是研究各種學(xué)習(xí)算法的一致性和學(xué)習(xí)速率。前者是一種定性分析,而后者則是一種定量分析。
　　 本文主要研究基于再生核Hilbert空間的正則化最小二乘回歸學(xué)習(xí)算法。這類算法是基于Tikhonov或Ivanov正則化的風(fēng)險(xiǎn)最小化的凸優(yōu)化方法。這里,我們主要討論基于弱相關(guān)抽樣的最

2、小二乘回歸學(xué)習(xí)算法的一致性分析和學(xué)習(xí)速率,方法上主要采用了積分算子和樣本算子的技巧。研究?jī)?nèi)容主要分為以下幾章:
　　 第一章介紹了統(tǒng)計(jì)學(xué)習(xí)理論的研究背景和基礎(chǔ)知識(shí),包括正則化學(xué)習(xí)算法的產(chǎn)生,基于核的正則化學(xué)習(xí)算法的研究現(xiàn)狀,本文的主要研究?jī)?nèi)容及基本定義和引理。
　　 第二章研究基于弱相關(guān)抽樣的系數(shù)正則化學(xué)習(xí)算法的一致性分析。
　　 本章我們分析了兩種抽樣背景下的l2范數(shù)的系數(shù)正則化學(xué)習(xí)算法的一致性。
　　

3、 第一節(jié)討論了基于弱相關(guān)抽樣的系數(shù)正則化學(xué)習(xí)算法的一致性,對(duì)滿足強(qiáng)混合條件的弱相關(guān)抽樣,且α系數(shù)滿足多項(xiàng)式遞減的情形,利用樣本算子與積分算子的技巧給出誤差界和學(xué)習(xí)速率的估計(jì),并進(jìn)一步與正則化最小二乘回歸算法的學(xué)習(xí)速率進(jìn)行比較。
　　 第二節(jié)討論了一類抽樣背景更一般的系數(shù)正則化學(xué)習(xí)算法?？紤]的non-iid背景為,抽樣是非同分布的,但樣本的邊緣分布序列在Holder空間的對(duì)偶空間中呈指數(shù)快速收斂;樣本zt,I≥1是弱相關(guān)的,并且滿

4、足強(qiáng)混合條件。我們利用積分算子的技巧推導(dǎo)出了令人滿意的容量無(wú)關(guān)的誤差界和學(xué)習(xí)速率。
　　 第三章研究基于積分算子技巧的容量相關(guān)估計(jì)。
　　 本章我們主要討論了基于與積分算子有關(guān)的兩種容量條件的正則化最小二乘回歸學(xué)習(xí)算法的性能?？紤]的iid背景為抽樣是同分布的且樣本是獨(dú)立選取的。我們利用積分算子的技巧把學(xué)習(xí)速率提高到了o(m-β/(1+2β))。
　　 第四章研究正則化最小二乘回歸學(xué)習(xí)算法改進(jìn)的一致性分析。