模式識別中核方法若干問題研究.pdf

1、核方法是新近發(fā)展起來的一種模式識別方法，它的理論基礎來自于統(tǒng)計學習理論。統(tǒng)計學在解決模式識別問題中發(fā)揮了基礎的作用，但是傳統(tǒng)的統(tǒng)計學所取得的成果大多建立在漸近理論之上，即樣本觀測數(shù)量趨于無窮多的時候的統(tǒng)計性質。這個條件在現(xiàn)實中是比較苛刻的，也是難以滿足的。雖然如此，傳統(tǒng)上仍然以樣本觀測數(shù)目無窮多為前提來推演各種算法，這不能不說是一個缺陷，它也是造成神經網絡等算法中的過學習問題的原因之一。 相比之下，統(tǒng)計學習理論的出發(fā)點就是研究有

2、限樣本觀測情形下的模式識別問題，經過幾十年的發(fā)展，它已經具備完備的理論基礎和嚴格的理論體系。統(tǒng)計學習理論已經成為機器學習的一個重要的研究方向。 本文主要討論模式分類與聚類中的核方法，以及其它相關的理論和應用的關鍵問題。初步取得的研究成果和創(chuàng)新有： 第一，經典的核函數(shù)作用在歐氏空間的向量上，作者從空間旋轉的角度，提出了把核函數(shù)的作用域擴展到向量集合之上的方法，使之能夠勝任需要表示和處理更復雜的數(shù)據(jù)對象的機器學習任務。與類似

3、的工作相比，它不需要預先假定數(shù)據(jù)服從某個概率分布，也不需要利用數(shù)值方法計算復雜的積分。在人臉識別的實驗中，本方法比類似的工作達到了更低的誤識率。 第二，Eigenface和Fisherface是兩種常用的人臉識別算法，它們本質上是線性的，且著重發(fā)掘和利用映像空間的全局結構。對于非線性結構，它們無能為力。本文討論了局部空間結構對人臉識別的意義，我們認為局部空間結構可以用線性或近似線性的方法學習和表示，并且可以通過對局部結構的逐段線

4、性化，來學習和表示全局的非線性結構。結合LLE算法，提出了利用逐段線性化學習和表示局部結構的核方法。在人臉識別的實驗中，它比Eigenface和Fisherface表現(xiàn)出更好的識別能力。 第三，LPP算法是一種數(shù)據(jù)降維和數(shù)據(jù)可視化方法，它是基于譜圖理論的。由于譜圖理論與微分流形具有密切的關系，且對于流形來說，測地線距離比歐氏距離更能準確揭示數(shù)據(jù)間的相似性，將LPP算法推廣到利用測地線距離進行數(shù)據(jù)降維，并把這一方法擴展到核函數(shù)特征

5、空間。在多個降維后的人臉識別實驗中，它比LPP算法取得了更好的性能。 第四，盡管有眾多的核函數(shù)可供利用，但是如何為特定的機器學習任務選擇合適的核函數(shù)，是核方法的理論研究中一個具有挑戰(zhàn)性和開放性問題。從流形學習和保形映射的角度，利用核函數(shù)特征空間中的流形學習算法，提出了一種試探性解決方法。與作者類似的工作是針對某一個核函數(shù)進行調整和選擇來提高分類性能，而這里則從整體的角度對核函數(shù)進行選擇。 第五，隨著以科學研究為目的的合作