基于數(shù)據(jù)的學(xué)習(xí)：埃爾米特算法與法向量估計(jì).pdf

1、在本文中，我們主要研究學(xué)習(xí)理論中關(guān)于回歸，流形學(xué)習(xí)和數(shù)據(jù)分析的一些算法。我們將詳細(xì)地討論這些算法的設(shè)計(jì)，并從逼近論的觀點(diǎn)討論其漸近性質(zhì)。
　　 論文的第一部分，在再生核Hilbert空間中最小二乘回歸正則化算法的框架下，我們研究了基于梯度樣本數(shù)據(jù)的學(xué)習(xí)問題。在表示定理的幫助下，算法的求解歸結(jié)為求解一個(gè)線性方程組，系數(shù)矩陣中涉及核函數(shù)值的Gramian矩陣以及核函數(shù)偏導(dǎo)數(shù)值的Hessian矩陣。額外的關(guān)于梯度的樣本值可以提高算法的

2、學(xué)習(xí)性能。通過運(yùn)用采樣算子分析樣本誤差和Sobolev空間中的積分算子分析逼近誤差，我們給出該算法的誤差分析。
　　 法向量估計(jì)是處理點(diǎn)云數(shù)據(jù)以及計(jì)算機(jī)圖形學(xué)中曲面重構(gòu)的重要研究課題。在論文的第二部分，我們考慮歐式空間中余維為1的子流形上的法向量估計(jì)問題。由于流形是未知的，我們要利用在流形上隨機(jī)采樣得到的樣本點(diǎn)來估計(jì)法向量。我們提出了一種由核函數(shù)構(gòu)造的學(xué)習(xí)算法，它實(shí)際上是無監(jiān)督形式的梯度學(xué)習(xí)。算法的求解歸結(jié)為求解一個(gè)線性代數(shù)的特

3、征向量問題。在真實(shí)的法向量和采樣分布滿足一定的條件時(shí)，我們得到了關(guān)于該算法的誤差估計(jì)。
　　 在論文的最后一部分，我們主要討論樣本依賴假設(shè)空間中的正則化回歸問題。對(duì)于給定的一組樣本數(shù)據(jù)，樣本依賴假設(shè)空間中的函數(shù)定義為由核函數(shù)和樣本數(shù)據(jù)產(chǎn)生的一族基函數(shù)的線性組合，因此空間中的函數(shù)完全取決于其線性組合的系數(shù)。這種核函數(shù)構(gòu)造的假設(shè)空間其依賴樣本的特質(zhì)給學(xué)習(xí)算法帶來很大的靈活性和自適應(yīng)性。在這種空間里討論的正則化算法與傳統(tǒng)的再生核Hil

4、bert空間中的算法有本質(zhì)的不同：我們所考慮的核函數(shù)不是對(duì)稱的，從而不具有半正定性，正則化子作為作用在該空間中函數(shù)上的泛函，被取為其相應(yīng)的組合系數(shù)的范數(shù)的次冪。這種不同增加了誤差分析的困難。
　　 具體來說，我們主要在本文中研究了兩種情況：p= 1和p= 2。當(dāng) p= 1時(shí)，l1正則化子經(jīng)常會(huì)使解向量具有稀疏性，從而極大提高算法運(yùn)行的效率。
　　 當(dāng)p= 2時(shí)，相應(yīng)的算法是線性的并且可以通過一個(gè)線性方程組來求解。這兩種算