基于改進(jìn)PCA和LDA的特征提取方法.pdf

1、在機(jī)器學(xué)習(xí)和模式識(shí)別領(lǐng)域，主成分分析（Principal Component Analysis,PCA）和線性判別分析（Linear Discriminant Analysis,LDA）及其相關(guān)的改進(jìn)方法是常用的維數(shù)約減方法，它們可以有效地降低數(shù)據(jù)集的維數(shù)，避免高維數(shù)據(jù)集帶來的維數(shù)災(zāi)難問題。然而，在實(shí)際應(yīng)用中，兩種方法均存在不足，如基于L1范數(shù)的核主成分分析（KPCA-L1）在處理較大規(guī)模的數(shù)據(jù)集時(shí)，建模速度將會(huì)比較慢；傳統(tǒng)的LDA使用

2、基于L2范數(shù)的距離度量，對(duì)噪聲數(shù)據(jù)比較敏感。為了提高KPCA-L1的建模速度、增強(qiáng)LDA的抗噪聲能力，本文對(duì)KPCA-L1和LDA兩種特征提取方法開展了研究。
　　1.提出了基于樣本選取和加權(quán) KPCA-L1的異常檢測(cè)方法。所提方法首先從訓(xùn)練集中選取具有代表性的樣本子集，然后為樣本子集中的樣本賦予權(quán)重，用帶有權(quán)重的樣本子集構(gòu)造加權(quán)KPCA-L1。與KPCA-L1相比，所提方法有效地減小了訓(xùn)練集的規(guī)模，加快了特征提取模型的建模速度，

3、改善了KPCA-L1算法的更新方法，并在一定程度上加快了異常檢測(cè)的速度。在人工數(shù)據(jù)集和標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，在保證異常檢測(cè)準(zhǔn)確率的同時(shí)，所提方法比KPCA-L1具有更快的處理速度。
　　2.提出了基于Lp范數(shù)的線性判別分析（LDA-Lp）算法。所提方法通過最大化基于Lp范數(shù)距離度量的類間散度與類內(nèi)散度的比例，利用梯度上升法與貪婪算法構(gòu)造一組局部最優(yōu)的映射向量。與 LDA相比，所提方法可以處理基于Lp范數(shù)（帶有任意p值）的距離