核正則化回歸學習和向量排序的收斂性分析及應用.pdf

1、在經(jīng)濟社會問題中，許多實際任務都可以轉(zhuǎn)化為回歸問題，比如，市場趨勢預測、人口預測、經(jīng)濟發(fā)展因素分析、股價預測等。排序?qū)W習在實際中也有許多應用的例子，比如，作為一個有力工具，排序?qū)W習在信息檢索、質(zhì)量控制、生存分析、計算生物學等方面有著許多實際應用價值。
　　在回歸分析中，經(jīng)常遇到非線性問題，此時常用的回歸方法，如多元線性回歸、多元逐步回歸、線性分位數(shù)回歸等方法，就不能對數(shù)據(jù)進行有效擬合和預測了。核函數(shù)的表示方法，通過定義一個核函數(shù)作

2、為非線性變換，將輸入空間的非線性數(shù)據(jù)映射到高維的特征空間，然后在這個線性的特征空間中構造回歸函數(shù)，而且只需要計算數(shù)據(jù)在特征空間的內(nèi)積就可以表示數(shù)據(jù)的特征。因此利用核函數(shù)技術，不失為解決非線性回歸問題的一種有效方法。
　　在進行回歸分析時，基于經(jīng)驗風險最小化準則的回歸算法屬于不適定問題，在樣本量較小時容易出現(xiàn)“過擬合現(xiàn)象”，雖然對訓練數(shù)據(jù)有較高的擬合度，但是對未知數(shù)據(jù)的預測能力差，模型的復雜度過大。為此，Tikhonov提出了正則化

3、的方法，在期望風險后面加上表示模型復雜度的正則化項，在這種結構風險最小化準則下進行回歸學習。
　　核正則化方法同時結合核函數(shù)技術和正則化方法的優(yōu)點，是學習理論當前采用的一種新方法。本文基于核正則化方法，在最小平方損失下，對回歸學習和向量排序?qū)W習的收斂速度進行研究。對算法的誤差上界進行量化分析，以此來衡量根據(jù)訓練樣本學習到的算法對未知數(shù)據(jù)的預測能力，探討算法的收斂速度是否受到再生核空間的凸性、逼近性能和容量的影響，這是學習理論中的一

4、個焦點問題。
　　本文的主要研究內(nèi)容和創(chuàng)新點體現(xiàn)在以下三個方面:
　　1.近年來已經(jīng)有許多文獻對再生核Hilbert空間的正則化回歸學習算法的收斂速度進行了研究。但是由于Hilbert空間的結構簡單所以有局限性，實際上許多數(shù)據(jù)不滿足由Hilbert空間的內(nèi)積誘導的距離。因此有必要擴大假設函數(shù)空間，Banach空間就是一個合理的選擇。對再生核Banach空間的正則化回歸學習算法的收斂性進行分析，這是一個新的研究領域，一個關鍵的

5、理論問題是Banach空間的幾何性質(zhì)如何影響收斂速度。
　　論文的第三章在Banach空間B具有q-一致凸性（其中q＞1），有一致連續(xù)的再生核等假定下，對再生核Banach空間的正則回歸學習算法的收斂速度進行了研究，分別推導出了以期望均值和經(jīng)驗均值表示的學習速度，結果表明Banach空間的一致凸性會影響核正則化回歸算法的學習速度，改進了現(xiàn)有文獻中得到的學習速度。之后給出符合定理條件的再生核Banach空間的例子，說明了定理條件的合

6、理性。
　　2.對于Banach空間無凸性要求的情況(q=1)，目前尚未見到對此時再生核Banach空間的正則化回歸算法的收斂性進行分析，論文的第四章展開了這方面的研究，以期望均值的形式推導出了該核正則化回歸算法的泛化誤差的概率上界。研究結果表明此時正則化回歸算法的期望誤差上界與樣本量、再生核Banach空間的復雜度、逼近誤差、輸出空間Y的取值上界M、再生核等有關。
　　3.排序?qū)W習可以看作是特殊的回歸問題，但是也有它的不同

7、之處。在排序問題中，通過學習一個實值函數(shù)用以對樣本進行打分，但是得分本身并不重要，關鍵在于通過這些得分對研究對象進行相對排序。近年來，將排序理論和機器學習結合起來，形成了核正則化排序方法。將一般的排序問題擴展為向量排序問題，這是一個新的研究內(nèi)容。
　　在論文第五章中，利用假設空間的覆蓋數(shù)、再生性等特點，對最小平方損失下再生核Hilbert空間的正則化向量排序算法的收斂速度進行了定量研究，利用G(a)teaux導數(shù)給出了最優(yōu)解和未知