流形學習的方差最小化準則.pdf

1、現(xiàn)在許多機器學習學習問題中，特征的維度通常都非常高，并且數(shù)據(jù)類別標簽的獲取非常困難或昂貴。在一個高維度的小樣本數(shù)據(jù)集上進行學習通常都會導致很嚴重的過擬合。這個問題有兩種流行的解決方案。一種是使用主動學習和半監(jiān)督學習來最大化帶類別標簽的數(shù)據(jù)的價值并挖掘無類別標簽數(shù)據(jù)的潛在價值。另一種方案則是流形學習：通過直接在數(shù)據(jù)的本征維度上進行幾何分析來避免維度過高的問題。這里的關鍵在于：對于許多實際生活中的高維數(shù)據(jù)，可以很自然地假設數(shù)據(jù)點是分布在一個

2、低維流形上的。流形的本征維度通常比外圍歐氏空間的維度低得多，因此直接分析流形的本質(zhì)幾何性質(zhì)，可以有效地避免維度災難的問題。
　　 本文我們將提出一個通用的框架來將兩種方案進行統(tǒng)一。我們將在機器學習的過程中顯式地考慮到數(shù)據(jù)的流形結構，在此基礎上，通過一個方差最小化的準則來求得最穩(wěn)定的解。我們的工作基于拉普拉斯正則化的半監(jiān)督學習算法，這是一個基于流形假設的半監(jiān)督學習算法。通過分析算法及其解的統(tǒng)計特性，我們提出一個方差最小化的準則，來

3、最大化學習的穩(wěn)定性。學習問題的穩(wěn)定性和算法的泛化能力是密切相關，這在學習理論中已經(jīng)是眾所周知的事實。
　　 基于這個準則，我們將實現(xiàn)具體的主動學習和特征選擇算法。特征選擇算法能夠在保持原始特征維度可解釋性的前提下有效地降低數(shù)據(jù)的維度。而主動學習算法則可以最大化類別標簽的價值。兩個算法都基于我們的方差最小化準則，因此都具有很好的抗過擬合能力。雖然他們的目標函數(shù)都是NP難問題，但是我們還提出了高效的近似算法可以對目標函數(shù)進行求解。通