基于數據局部結構信息的特征提取中的關鍵問題研究.pdf

1、很多現實世界中的應用，特別是在模式識別，機器學習，計算機視覺和數據挖掘領域中，都涉及到對高維數據的處理。特征提取和維數約簡的方法因為能夠找到數據最理想的低維表示而在這些領域中扮演了重要的角色。而在這些方法中，由于具有比其它方法更為顯著的優(yōu)勢，線性特征提取方法成為了一種流行的維數約簡的工具。最近幾年，隨著流形學習的發(fā)展，數據的局部結構由于隱含了數據的潛在信息引起了越來越多的注意。
　　 與全局維數約簡方法不同，流形學習方法試圖找到

2、嵌入在數據輸入空間的低維流形結構。傳統(tǒng)的流形學習方法，如ISOMAP，LLE和Laplacian Eigenmaps，通過非監(jiān)督學習的方式來尋求數據的低維流形。為了挖掘局部判別流形結構，局部判別分析方法在鑒別潛在子流形結構的同時引入了數據的判別信息。從數學的角度看，這些維數約簡方法都可以統(tǒng)一用關系圖嵌入框架來解釋，所不同的只是它們中內在相似圖和懲罰圖的構造規(guī)則。然而，這些局部判別方法仍然存在一些缺陷，如維度災難，增量學習等。
　　

3、 另外，非負矩陣因子(Nonnegative Matrix Factorization，NMF)同樣也是一種基于數據局部結構的數據挖掘方法，其等同于一個具有非負邊界限制的優(yōu)化問題。在已有的研究成果中，非負矩陣因子主要是通過添加額外的優(yōu)化項來解決機器學習和計算機視覺中的一些應用問題。為了克服傳統(tǒng)的相乘學習算法收斂速度過慢的問題，最近有一些研究者提出了基于投影梯度的非負矩陣因子算法。但是，礙于非負限制和額外添加的優(yōu)化項，這些非負矩陣因子方

4、法常常會遇到不恰當學習的問題。
　　 本文主要針對基于數據局部結構的特征提取方法的幾個熱點問題進行了深入地研究，主要的貢獻如下：
　　 ①針對維度災難的問題，已有的局部判別方法使用主成分分析(PrincipalComponent Analysis，PCA)方法來對數據進行預處理降維，但這有可能會破壞數據的局部結構。本文將判別嵌入考慮為一個在樣本數據空間中的核處理過程，提出一種基于核框架的判別處理方法來提取嵌入特征。與其它

5、方法相比，該方法避免了PCA的預處理，也不需要對數據進行裁剪操作。通過在一系列高維數據集上的實驗表明，該方法具有較好的健壯性和杰出的性能優(yōu)勢。
　　 ②盡管局部判別子空間方法在判別形式上與LDA具有一致性，但它們的理論性質卻截然不同。本文以局部判別零空間為例，研究了局部判別子空間方法相關的計算和理論基礎。首先，本文在零空間LDA的基礎上提出局部判別零空間方法，并且論證它的計算復雜度主要是由關系圖中連接邊的數量決定的。這使得當需要

6、處理的數據量較大時，算法無法順利實施。為了解決這個問題，本文提出一種改進的局部零空間方法，該方法用懲罰子空間來近似完整的局部判別子空間以達到改進算法效率的目的。實驗研究發(fā)現，該近似方法能夠達到與原來的學習方法相近似的識別結果。
　　 ③由于當有新增數據時，局部判別分析方法沒有明確可用的更新規(guī)則，這使得為其設計增量學習方法非常困難。為了彌補這一缺陷，本文提出一種提取判別特征的監(jiān)督學習方法，叫做局部判別子空間嵌入(local dis

7、criminant subspaceembedding，LDSE)。然后，提出了其增量學習方法來尋求在存在新數掘進入的情況下的判別子空間，該方法的主要思想是利用奇異值分解的更新算法來將基準方法擴展為可進行增量學習的方法。從人臉識別的實驗來看，該增量學習方法能夠在更小的計算開銷下得到與基準嵌入方法相近的識別結果。
　　 ④已有的邊緣學習方法在判別邊緣擁有最短的類間距離的理論前提下，試圖在所有類間數據對中找到局部邊緣。然而，該方法常

8、常難以提供最佳的判別力，特別是在數據呈多模態(tài)分布的情況中。究其原因，是由于邊緣學習方法使用有限的數據對來確定判別邊緣，使得得到的邊緣可能無法反映數據的真實的分布情況，使得在低維空間中投影得到的樣本無法被正確分類。
　　 不失一般性，線性子空間學習算法也可以理解為在低維空間中對一系列數據對吸引和排斥關系的加強?；谶@樣的觀點，提出一種邊緣子空間學習方法，叫做邊緣判別投影(marginal discriminant projecti

9、ons，MDP)。與已有的邊緣學習方法不同，通過分層模糊聚類來自適應地確定局部判別邊緣，同時遞歸目標優(yōu)化過程也得以避免。
　　 ⑤為了挖掘非負數據中的信息成分，提出了一種以信息理論學習相關的非負矩陣學習方法，并使用共軌梯度方法來加強遞歸學習過程。然而，與其它擴展的梯度非負矩陣因子算法一樣，礙于非負邊界限制，在遞歸過程中不可避免地會遇到不恰當學習的問題。為了解決這個問題，提出了一個改進的線性搜索方法，在保持目標函數下降的同時通過確