多視度量和回歸學(xué)習(xí)方法及應(yīng)用研究.pdf

1、距離度量和回歸學(xué)習(xí)在機(jī)器學(xué)習(xí)、模式識別和計(jì)算機(jī)視覺等領(lǐng)域起著至關(guān)重要的作用。許多實(shí)際任務(wù)，如圖像的聚類、分類、基于內(nèi)容的圖像標(biāo)注和檢索，性能的關(guān)鍵取決于適合的距離度量函數(shù)的選擇。而回歸學(xué)習(xí)對于解決度量學(xué)習(xí)、以及圖像處理等問題提供了最有效的工具和手段。因此，有關(guān)度量和回歸學(xué)習(xí)的研究具有重要意義和廣泛價(jià)值。然而，絕大多數(shù)度量和回歸學(xué)習(xí)算法都是針對單一數(shù)據(jù)集合。伴隨著因特網(wǎng)的飛速發(fā)展和數(shù)碼攝像設(shè)備的日益普及，數(shù)據(jù)通常由多個(gè)不同的信息源或不同的

2、特征表示構(gòu)成，呈現(xiàn)出多模態(tài)的特性。為了有效的分析和處理多模態(tài)數(shù)據(jù)，本文主要探討了多視度量和回歸學(xué)習(xí)問題。目前多視度量和回歸學(xué)習(xí)工作剛剛起步，已有工作全部基于對數(shù)據(jù)的全局建模。而近年來研究者們發(fā)現(xiàn)，與全局方法相比，局部化分析和構(gòu)建預(yù)測函數(shù)通常能夠取得更低的誤差，從而具有更好的魯棒性和靈活性。此外，局部學(xué)習(xí)能夠充分提升算法處理復(fù)雜問題的能力?；诖耍疚难芯苛司植亢腿窒嘟Y(jié)合的多視度量和回歸學(xué)習(xí)方法，并將其應(yīng)用在實(shí)際的應(yīng)用問題中。具體的，本

3、文研究內(nèi)容分為四個(gè)部分：
　　1.提出了一種全局一致局部平滑的多視度量學(xué)習(xí)算法。所提出的算法通過學(xué)習(xí)特定的共享隱特征空間，間接的建立起多視觀測數(shù)據(jù)之間的聯(lián)系。整個(gè)學(xué)習(xí)分解為兩個(gè)基本階段：全局一致性共享隱特征空間學(xué)習(xí)和局部平滑多視度量學(xué)習(xí)。階段一，基于譜圖理論，對于全部有標(biāo)記樣本對，得到其在低維空間的表示，且該低維空間被視為共享隱特征空間；階段二，利用正則化的局部線性回歸，對于未標(biāo)記樣本和測試樣本，學(xué)習(xí)從輸入空間到共享隱特征空間的局

4、部映射函數(shù)。其中，圖拉普拉斯正則化被引入使得學(xué)習(xí)到的局部度量函數(shù)在整個(gè)數(shù)據(jù)空間保持平滑變化。最終，上述兩個(gè)階段都形式化為凸最優(yōu)化問題，存在閉合解，且求解方法簡單。姿態(tài)和表情對齊的實(shí)驗(yàn)證明了所提出方法的有效性。
　　2.提出了特定實(shí)例典型相關(guān)分析法。所提出的方法借助經(jīng)典的統(tǒng)計(jì)學(xué)習(xí)方法：典型相關(guān)分析，并將其進(jìn)一步發(fā)展，提出了基于特定實(shí)例的典型相關(guān)分析法，使其同時(shí)具有局部和非線性兩種基本特性。與上一個(gè)工作不同，所提出的方法不需要采用兩階

5、段學(xué)習(xí)，因此建立了局部和全局相結(jié)合的多視度量學(xué)習(xí)統(tǒng)一框架。首先，探究了基于最小平方回歸的典型相關(guān)分析法求解。然后，借助最小平方回歸學(xué)習(xí)框架，沿著數(shù)據(jù)流形的平滑曲線計(jì)算特定樣本的局部映射函數(shù)，從而近似擬合整個(gè)數(shù)據(jù)空間的非線性分布。此外，為了更好的挖掘并利用未標(biāo)記樣本的信息，本文還進(jìn)一步討論了其在半監(jiān)督情況的擴(kuò)展。最終，對所建立的優(yōu)化目標(biāo)采用交替最優(yōu)化求解方法，并在聯(lián)合凸最優(yōu)化的理論保證下取得全局最優(yōu)解。
　　3.為了進(jìn)一步應(yīng)對大數(shù)據(jù)

6、問題，提出了參數(shù)化的局部多視海明距離度量學(xué)習(xí)算法。首先定義了離散化的局部多模態(tài)哈希映射函數(shù)，將數(shù)據(jù)從原始輸入空間映射到二值離散空間，并利用在離散化空間的海明距離作為最終的距離度量。其次，為了平衡局部性和計(jì)算的有效性，本文對局部哈希映射函數(shù)做了近似，將其參數(shù)化表示為一組錨點(diǎn)所對應(yīng)的映射函數(shù)的線性加權(quán)組合。同時(shí)從理論上給出了近似局部哈希映射的錯(cuò)誤上界。接著，建立了局部和全局相結(jié)合的優(yōu)化目標(biāo)，并利用共軛梯度法和順序?qū)W習(xí)過程進(jìn)行有效求解。在跨媒

7、體檢索問題中的實(shí)驗(yàn)結(jié)果證明了所提出的方法能夠更好的建模大數(shù)據(jù)的復(fù)雜結(jié)構(gòu)，并取得更高的查詢精度。
　　4.除了對多數(shù)據(jù)集學(xué)習(xí)，本文還進(jìn)一步探討了對單數(shù)據(jù)集建立局部和全局相結(jié)合的多視模型。并面向圖像去噪問題，提出了基于多視核回歸的漸進(jìn)圖像去噪方法。首先對目標(biāo)圖像進(jìn)行多尺度的表示，然后由粗到細(xì)采用漸進(jìn)的方式對圖像進(jìn)行去噪。一方面，在每一個(gè)尺度內(nèi)，采用了基于隱式核的圖拉普拉斯最小平方回歸模型，使其同時(shí)最小化在可度量樣本上的最小平方誤差，同