基于全局統(tǒng)計與局部幾何性質的數據降維算法研究.pdf

1、在機器學習和數據挖掘等領域的許多實際問題中，如人臉識別，數字圖像識別和數據可視化等，都需要面臨高維數據的分析和處理。高維數據不僅會增加算法的計算負擔，而且由于包含大量的冗余信息會掩蓋數據的內在真實結構，給學習和分析任務帶來很大的困難。數據降維技術是解決這一問題的有效手段，它不僅可以挖掘出數據的本質結構，而且能夠以較少的計算代價幫助完成既定的學習任務。因此，針對數據降維技術的研究一直以來都是相關領域研究的重點課題。 本論文重點研究

2、針對高維數據的降維理論與方法以及在人臉識別領域中的具體應用。論文的主要研究內容和創(chuàng)新成果如下： 1.從基于全局統(tǒng)計和基于局部幾何性質的角度總結了已有數據降維算法的各自特點和優(yōu)勢，分析了各種算法的本質和內在聯(lián)系。 2.經典的PCA和KPCA算法都是在最小平方意義下進行建模的，其求解缺乏足夠的穩(wěn)健性。數據中即使摻雜了少量的離群樣本也會使得它們求解的主分量方向產生很大偏倚。本文針對這一問題提出了一種穩(wěn)健的非線性降維算法IRob

3、ust KPCA。該算法通過隱式的方式辨別并抑制數據中的離群樣本，能夠學習出準確的非線性子空間。由于采用了迭代的方式更新計算，算法還具有潛在的增量學習的優(yōu)勢。與標準KPCA算法的對比實驗結果表明了該算法的有效性和穩(wěn)健性。 3.基于局部保持的思想，提出了一種針對高維數據的流形學習和模式分類的監(jiān)督降維算法SMDA。經典的LDA算法僅考慮了樣本的全局統(tǒng)計信息，不適用于非線性分布的數據。而基于局部幾何性質的流形學習算法在解釋數據的內在結

4、構方面具有明顯的優(yōu)勢。因此，本文基于局部分析的思想提出了SMDA算法。該算法試圖在保持數據局部性質的同時最大化各類別之間的間隔，能夠獲得良好的判別性能。并且由于采用了優(yōu)化的鄰域選擇機制，SMDA能夠避免已有方法在刻畫數據局部幾何結構時所面臨的一些問題。在Yale和UMIST人臉數據庫上的實驗結果表明了該算法的有效性以及相對于主流的PCA、LDA、LPP和MFA算法的優(yōu)越性。 4.基于流形正則化的思想，提出了一種可用于多類問題半監(jiān)