最小二乘和低秩矩陣分解的數(shù)據(jù)降維.pdf

1、在機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘等實際應(yīng)用問題中，如人臉識別、圖像分類等領(lǐng)域，往往要處理大量的高維數(shù)據(jù)。數(shù)據(jù)的高維特性不僅增加了學(xué)習(xí)算法的計算開銷，而且也掩蓋了數(shù)據(jù)的內(nèi)在真實結(jié)構(gòu)，這使數(shù)據(jù)的分析和處理變得極為困難。降維是解決上述問題的有力工具，降維是將數(shù)據(jù)通過一個映射從高維空間變換到低維空間中，從而發(fā)現(xiàn)數(shù)據(jù)內(nèi)在的幾何結(jié)構(gòu)并減少既定學(xué)習(xí)任務(wù)計算開銷的方法。因此，數(shù)據(jù)降維是機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘領(lǐng)域的研究熱點之一。
　　本論文圍繞數(shù)據(jù)降維方法開展研究

2、，發(fā)展了一類基于最小二乘和低秩矩陣分解的降維方法，主要的貢獻(xiàn)如下：
　　1.在最小二乘的框架下提出了保結(jié)構(gòu)的線性判別分析(LocLDA)用于數(shù)據(jù)降維。通過在最小二乘的線性判別分析(LDA)中引入圖Lapalacian正則項，使LocLDA不僅具有鑒別能力，而且還能刻畫數(shù)據(jù)的內(nèi)在流形結(jié)構(gòu)。進(jìn)一步的分析表明LocLDA的解等價于一個小規(guī)模的對稱正定線性方程組的解，該線性方程組可以通過預(yù)條件共軛梯度法快速求解。在UCI數(shù)據(jù)集和人臉庫上的

3、分類實驗結(jié)果表明了LocLDA算法的有效性。
　　2.傳統(tǒng)降維方法都要求訓(xùn)練數(shù)據(jù)是干凈的，實際應(yīng)用中的數(shù)據(jù)總是存在缺失或者噪聲等問題，傳統(tǒng)的降維方法對數(shù)據(jù)噪聲和缺失缺乏魯棒性。本文在最小二乘的框架下提出了魯棒的判別分析(RDA)。RDA利用低秩和稀疏理論恢復(fù)干凈數(shù)據(jù)，用基于L1范數(shù)度量的損失函數(shù)學(xué)習(xí)降維投影矩陣。本文提出了基于近似梯度法的增廣拉格朗日方法來求解RDA優(yōu)化問題，并詳細(xì)分析了數(shù)值算法的收斂性。在干凈和污染數(shù)據(jù)集上的實驗

4、結(jié)果驗證了RDA的優(yōu)越性及魯棒性。
　　3.提出了最小二乘的多標(biāo)記線性判別分析(LSMLDA)。傳統(tǒng)最小二乘的線性判別分析僅僅適用于單標(biāo)記數(shù)據(jù)，無法直接用于高維多標(biāo)記數(shù)據(jù)的維數(shù)約簡。多標(biāo)記線性判別分析(MLDA)需要求解一個維數(shù)較高的矩陣特征值問題，計算開銷非常大。本文建立了MLDA的特征值問題與最小二乘問題的等價關(guān)系，從而得到了最小二乘形式的MLDA(LSMLDA)。LSMLDA可以通過線性方程組的快速求解得到最優(yōu)解。此外，本文

5、通過對投影向量施加基于L2范數(shù)和L1范數(shù)的約束，用于控制LSMLDA模型的復(fù)雜度及提高模型的泛化能力。在三個標(biāo)準(zhǔn)的多標(biāo)記數(shù)據(jù)集上的實驗結(jié)果驗證了LSMLDA及其推廣的優(yōu)越性。
　　4.提出了局部敏感的低秩矩陣分解降維模型。在該模型中，通過引入正交約束使得到的投影矩陣是半正交的，這在一定程度上減小了數(shù)據(jù)的重構(gòu)誤差。為刻畫數(shù)據(jù)空間的內(nèi)在幾何結(jié)構(gòu)，本文通過投影矩陣和數(shù)據(jù)矩陣構(gòu)造了自適應(yīng)的局部算子，該局部算子可通過學(xué)習(xí)獲得。提出了基于凱萊