多核學(xué)習(xí)算法的誤差分析.pdf

1、常用的單核學(xué)習(xí)算法不僅無法自動(dòng)實(shí)現(xiàn)最優(yōu)核的選取，而且只能處理同一種類型數(shù)據(jù)輸入的學(xué)習(xí)問題。然而，多核學(xué)習(xí)算法能夠自動(dòng)實(shí)現(xiàn)核選擇的過程，對(duì)于不同的學(xué)習(xí)問題，都可以從給定核函數(shù)集里自動(dòng)選擇出對(duì)應(yīng)的最優(yōu)核進(jìn)行學(xué)習(xí)，從而能提高學(xué)習(xí)算法的有效性和推廣能力。并且多核學(xué)習(xí)可以用不同的核函數(shù)來分別度量各種類型數(shù)據(jù)的相似性，進(jìn)而可以處理來自于不同數(shù)據(jù)源的樣本學(xué)習(xí)問題。因此，近年來多核學(xué)習(xí)在理論和實(shí)踐上都引起了人們極大的興趣。
　　 本文對(duì)多核學(xué)習(xí)

2、問題的研究意義、學(xué)習(xí)模型和相依數(shù)據(jù)學(xué)習(xí)的相關(guān)背景知識(shí)和已有的理論結(jié)果進(jìn)行了較為系統(tǒng)的論述；介紹了樣本獨(dú)立同分布時(shí)估計(jì)樣本誤差的幾種常用方法。但在實(shí)際應(yīng)用中，數(shù)據(jù)獨(dú)立的假設(shè)是非常強(qiáng)或是不滿足的，尤其很多數(shù)據(jù)并非是獨(dú)立的觀測值。所以，研究非獨(dú)立（或相依）數(shù)據(jù)下的學(xué)習(xí)算法及學(xué)習(xí)機(jī)器的推廣能力是非常有必要的。它不但可以豐富、完善已有的理論，而且可以為解決實(shí)際問題提供更加堅(jiān)實(shí)的理論基礎(chǔ)和合理的方法。數(shù)據(jù)從獨(dú)立到非獨(dú)立一個(gè)很自然的推廣就是平穩(wěn)混合序

3、列，因?yàn)樗哂休^好的性質(zhì)和應(yīng)用前景：B.Yu證明了混合序列被可測函數(shù)作用后，仍具有混合序列的性質(zhì)；H.Kesten和G.L.Obrien給出了如何構(gòu)造混合序列的例子，這使算法實(shí)現(xiàn)變成了可能。關(guān)于理論分析學(xué)習(xí)機(jī)器的推廣能力，VC維、覆蓋數(shù)和基于算法穩(wěn)定性分析等方法能較容易的平行推廣到混合序列樣本情形。然而，基于Rademacher復(fù)雜度的方法中，McDiarmid不等式和Rademacher對(duì)稱化技巧這兩個(gè)關(guān)鍵步驟只對(duì)樣本獨(dú)立同分布時(shí)適用

4、，故難以推廣到樣本非獨(dú)立的情形。本文借用樣本分塊技巧和Rademacher chaos復(fù)雜度克服了上述困難，推導(dǎo)出了β-混合序列樣本下多核正則化回歸算法的推廣誤差界。
　　 第一章介紹多核學(xué)習(xí)問題的提出、研究意義和學(xué)習(xí)模型。
　　 第二章對(duì)相依數(shù)據(jù)學(xué)習(xí)的相關(guān)背景知識(shí)和已有的理論結(jié)果進(jìn)行了較為系統(tǒng)的論述，介紹了樣本分塊技巧和關(guān)于β-混合序列的重要不等式。
　　 第三章討論樣本獨(dú)立同分布時(shí)，估計(jì)推廣誤差界的一般方法。

5、其中，樣本誤差的估計(jì)轉(zhuǎn)化到：界定給定函數(shù)集里任意一個(gè)函數(shù)關(guān)于樣本的期望和經(jīng)驗(yàn)均值間的偏差，這涉及到度量函數(shù)集容量的問題。本章給出了三種常用的度量方法：VC維、覆蓋數(shù)和Rademacher復(fù)雜度，及相應(yīng)的誤差界。最后引入積分算子理論介紹了估計(jì)最小二乘回歸問題的正則化誤差的一般過程。
　　 第四章研究β-混合序列樣本下多核正則化回歸算法的誤差分析?；诮?jīng)驗(yàn)風(fēng)險(xiǎn)最小化正則化算法的Rademacher-復(fù)雜度界的思想，并借用樣本分塊技巧