基于k近鄰分類準則的特征變換算法研究.pdf

1、特征變換和測度學習在模式識別中具有十分重要意義。通過特征變換，可以得到樣本新的表示以及樣本間更合適的距離測度，從而更有利于后續(xù)處理，如聚類和分類等。不降低維數(shù)的測度學習算法通常是將樣本從輸入空間映射到一個維數(shù)相同的新空間，而具備降維能力的測度學習算法則是將樣本從輸入空間映射到一個較低維的新空間。 本文首先對標準正交變換、白化變換、主元分析和線性判別分析等特征變換進行了比較深入的分析，試圖探討這些特征變換方法的本質(zhì)以及相互之間的聯(lián)

2、系。接著，對局部線性嵌入LLE和Laplacian特征映射等流形學習算法進行了介紹。然后，提出了一種新的基于k近鄰分類準則的特征變換算法—判別近鄰嵌入算法DNE(Discriminant Neighborhood Embedding)。 DNE算法構(gòu)造一個判別鄰接矩陣來描述多類樣本數(shù)據(jù)集的局部幾何結(jié)構(gòu)，利用該判別鄰接矩陣定義了一個代價函數(shù)，以求得一個最優(yōu)的變換矩陣，將樣本映射到新的空間。在新的空間中，樣本之間的距離測度發(fā)生了變化

3、，同類近鄰樣本點會盡可能地靠近，異類近鄰樣本點盡可能地遠離。通過譜分析，DNE算法能夠估計出新空間的最佳維數(shù)，這是和其他很多相關(guān)算法的區(qū)別所在。 DNE算法能有效解決高維模式分類中經(jīng)常存在的“維數(shù)災(zāi)難”問題，且通過將樣本映射到一個低維空間，降低了k近鄰分類器的計算代價。該算法是非參數(shù)的，不必假定樣本符合Gaussian分布，對不同分布的數(shù)據(jù)更具有適應(yīng)性；該算法是非迭代的，訓練過程更有效率；且不存在高維小樣本情形下矩陣奇異的問題。