統(tǒng)計學(xué)習(xí)中回歸與正則化譜聚類算法的研究.pdf

1、在本文中,我們主要研究了統(tǒng)計學(xué)習(xí)中的回歸和譜聚類算法。主要貢獻(xiàn)可分為以下三個部分。
　　 首先,研究回歸問題。在樣本無界的背景下,我們考慮了最小二乘正則化學(xué)習(xí)算法。這部分的工作主要是利用積分算子方法,得到了很好的學(xué)習(xí)算法收斂階。主要結(jié)果依賴兩個重要假設(shè),一個是關(guān)于無界輸出樣本的矩假設(shè),另一個是與邊緣分布相關(guān)的函數(shù)空間假設(shè)。在適當(dāng)?shù)臈l件下,所得結(jié)果是與樣本有界情況下是一致的。
　　 其次,我們研究了譜聚類算法。類似的理論研

2、究近幾年已經(jīng)有很多。我們的創(chuàng)新之處在于:我們在一個依賴樣本的有限維假設(shè)空間內(nèi)考慮,這樣很自然的能夠引入統(tǒng)計上著名的LASSO思想,即施加正則化項-L1罰。由核函數(shù)張成的樣本依賴假設(shè)空間能夠為學(xué)習(xí)過程提供很好的靈活性?？墒峭瑫r也帶來了技術(shù)處理和理論分析上的困難。主要困難在于假設(shè)空間不僅依賴樣本,而且還有兩個約束條件,以前所有的處理技巧都不能直接拿來應(yīng)用。本文從逼近論角度研究,通過合理的假設(shè)克服了上述困難。這里主要利用的是局部多項式再生公式

3、和構(gòu)造化的處理手段。譜聚類算法的一致性主要取決于以下幾個條件:輸入空間的結(jié)構(gòu),未知的分布,核函數(shù)以及目標(biāo)函數(shù)的光滑性。
　　 最后.我們以逼近論的角度去研究學(xué)習(xí)理論中的回歸問題。根據(jù)一些逼近論中的正定算子,設(shè)計了一系列非優(yōu)化的學(xué)習(xí)器。這樣的學(xué)習(xí)器是由一般的核函數(shù)經(jīng)過放縮變換,然后作用于樣本點產(chǎn)生的。他們與經(jīng)典的逼近算子的區(qū)別主要在于:傳統(tǒng)的逼近算子依賴于確定的節(jié)點或節(jié)點滿足很好的形狀,而學(xué)習(xí)器的樣本是隨機(jī)的。在回歸的背景下我們研