數(shù)據(jù)降維算法的研究及其應(yīng)用.pdf

1、數(shù)據(jù)降維算法的研究在傳統(tǒng)的模式識(shí)別、生物特征識(shí)別、計(jì)算機(jī)視覺(jué)以及數(shù)字圖像處理等領(lǐng)域都具有非常重要的理論和實(shí)際價(jià)值。本文主要研究新的數(shù)據(jù)降維算法及其在人臉識(shí)別、步態(tài)識(shí)別和基于內(nèi)容的圖像檢索中的應(yīng)用。 在經(jīng)典的基于統(tǒng)計(jì)學(xué)習(xí)的數(shù)據(jù)降維算法中，比如主成分分析(PrincipalComponentAnalysis，PCA)和線性區(qū)分性分析(LinearDiscriminantAnalysis，LDA)，分析的對(duì)象通常都被表示成為一維的向量

2、。而在很多實(shí)際的應(yīng)用中，比如人臉識(shí)別中(FaceRecognition)，分析的對(duì)象都是二維或者高維的圖像數(shù)據(jù)，即灰度人臉圖像就是二維數(shù)據(jù)，彩色人臉圖像或者人臉圖像序列是三維數(shù)據(jù)。因此經(jīng)典的人臉識(shí)別算法是把二維或者高維的圖像數(shù)據(jù)變換成一維的向量數(shù)據(jù)，然后用PCA或者LDA來(lái)做數(shù)據(jù)降維。但是在本文第二三四章中指出，這樣的變換將導(dǎo)致數(shù)據(jù)各個(gè)維(比如圖像的行和列)之間的結(jié)構(gòu)信息的丟失，而且會(huì)導(dǎo)致維數(shù)災(zāi)難和小樣本問(wèn)題。因此在本文的第二三四章提出

3、了一系列新的基于二維或者高維表示的數(shù)據(jù)降維方法。其中第二章提出了基于最優(yōu)重建準(zhǔn)則的二維或者高維數(shù)據(jù)的多線性降維方法CoupledSubspaceAnalysis(CSA-2)和ConcurrentSubspaceAnalysis(CSA-3)，第三章提出了基于最優(yōu)區(qū)分性準(zhǔn)則的二維或者高維數(shù)據(jù)的多線性降維方法BilinearDiscriminantAnalysis(BDA)和DiscriminantAnalysiswithTensorRe

4、presentation(DATER)。第四章提出了基于最優(yōu)區(qū)分性準(zhǔn)則的二維或者高維數(shù)據(jù)的非線性降維方法CoupledKernelDiscriminantAnalysis(CKDA)。大量的實(shí)驗(yàn)證明新提出的基于二維或者高維表示的直接數(shù)據(jù)降維方法明顯優(yōu)于基于一維向量表示的數(shù)據(jù)降維方法，尤其是當(dāng)訓(xùn)練樣本比較少而且數(shù)據(jù)分布非常復(fù)雜的時(shí)候，這種優(yōu)勢(shì)更加明顯。 近年來(lái)，不僅基于統(tǒng)計(jì)學(xué)習(xí)的數(shù)據(jù)降維算法，比如PCA/LDA以及其基于核方法的版

5、本，核主成分分析(KernelPrincipalComponentAnalysis，KPCA)/核區(qū)分性分析(KernelDiscriminantAnalysis，KDA)等，被廣泛用于數(shù)據(jù)降維，而且基于幾何理論特性(GeometricTheory)的流形學(xué)習(xí)(ManifoldLearning)算法，比如ISOMAP，LLE和LaplacianEigenmap(LE)等也相繼被應(yīng)用于數(shù)據(jù)降維領(lǐng)域而且取得了很大的成功。本文第五章提出了一個(gè)

6、新的統(tǒng)一的理論框架，即：圖嵌入理論框架(包括直接的圖嵌入、線性化、核化和張量化)。這個(gè)框架可以把上面提到的這些數(shù)據(jù)降維的算法都?xì)w入其中。這個(gè)框架不僅可以歸納很多現(xiàn)有的算法，而且可以被用做設(shè)計(jì)新算法的平臺(tái)?；谶@個(gè)平臺(tái)，第五章提出了兩種新的有監(jiān)督流形學(xué)習(xí)(SupervisedManifoldLearning)的算法，即MarginalFisherAnalysis(MFA)和DiscriminantLocallyLinearEmbeddin

7、g(DLLE)。由于新提出的算法考慮了數(shù)據(jù)的局部流形結(jié)構(gòu)和樣本的類別信息，大量的實(shí)驗(yàn)結(jié)果證明這兩種算法的線性化/核化/張量化的版本都優(yōu)于只考慮樣本類別信息的LDA的相應(yīng)版本。 前面幾章主要考慮的是人臉識(shí)別這個(gè)應(yīng)用。在本文的第六章主要考慮前面提出的數(shù)據(jù)降維算法在步態(tài)識(shí)別中的應(yīng)用，而第七章則考慮其在基于內(nèi)容的圖像檢索中的應(yīng)用。 在第六章中，首先針對(duì)步態(tài)識(shí)別的預(yù)處理步驟即運(yùn)動(dòng)目標(biāo)分割這個(gè)任務(wù)，提出了一種不重要陰影(Insign

8、ificantShadow)的去除算法來(lái)更好的分割運(yùn)動(dòng)對(duì)象。實(shí)驗(yàn)結(jié)果證明新提出的陰影去除算法明顯優(yōu)于前人提出的算法。第六章還系統(tǒng)的比較了CoupledSubspaceAnalysis+BilinearDiscriminantAnalysis(CSA+BDA)，MFA以及DLLE和傳統(tǒng)的LDA算法在步態(tài)識(shí)別上的結(jié)果。大量的實(shí)驗(yàn)仍然證明新提出的算法在步態(tài)識(shí)別中也取得了較好的效果。第七章主要針對(duì)基于內(nèi)容的圖像檢索的特點(diǎn)提出了MFA變換的版本，