快速多核學(xué)習(xí)分類研究及應(yīng)用.pdf

1、核學(xué)習(xí)是一種非常流行的非線性分類問(wèn)題解決方法，它通過(guò)構(gòu)建核矩陣來(lái)描述樣本在高維空間的相似程度，達(dá)到種類區(qū)分目的。多核學(xué)習(xí)是核學(xué)習(xí)新的發(fā)展和研究方向。相比于傳統(tǒng)的單核學(xué)習(xí)，多核學(xué)習(xí)整合多個(gè)子核到一個(gè)統(tǒng)一的優(yōu)化框架內(nèi)，從而尋求多個(gè)子核之間的一種最佳組合。多核學(xué)習(xí)可以有效避免核參數(shù)的經(jīng)驗(yàn)調(diào)節(jié)，減少了人為參與。另外，當(dāng)子核對(duì)應(yīng)單個(gè)特征或者每一維時(shí)，多核學(xué)習(xí)還可以很好地解決特征選擇和維數(shù)約簡(jiǎn)問(wèn)題。但是多核學(xué)習(xí)的高計(jì)算復(fù)雜度，使得它在學(xué)習(xí)訓(xùn)練過(guò)程中

2、花費(fèi)了大量的時(shí)間。這一特性大大阻礙了多核學(xué)習(xí)在實(shí)際工程中的應(yīng)用。本論文針對(duì)這個(gè)問(wèn)題，通過(guò)預(yù)先篩選有益于分類的子核和構(gòu)造隨機(jī)核的方法來(lái)加速多核學(xué)習(xí)的訓(xùn)練過(guò)程。此外，憑借在多核學(xué)習(xí)研究過(guò)程中得到的理論，本論文成功把多核學(xué)習(xí)應(yīng)用到高光譜圖像和自然圖像分類中。
　　本論文的工作可以具體概括如下：
　　1.針對(duì)多核學(xué)習(xí)復(fù)雜度高的問(wèn)題，提出了選擇性的多核學(xué)習(xí)。通過(guò)理論分析，發(fā)現(xiàn)多核學(xué)習(xí)可以看作是集成學(xué)習(xí)的一種特殊形式。因此，選擇性多核學(xué)

3、習(xí)使用集成策略預(yù)先選擇一些高辨別大差異的子核。為了評(píng)估核的辨別能力和差異性，設(shè)計(jì)了一種新的核評(píng)估方法。與經(jīng)典的核評(píng)估方法核排列相比，該評(píng)估方法能提供量化的結(jié)果與更精確的差異性評(píng)估。經(jīng)過(guò)預(yù)先選擇有益于分類的子核，選擇性多核學(xué)習(xí)節(jié)省了內(nèi)存，加快了訓(xùn)練過(guò)程。尤其是該方法可以與多核學(xué)習(xí)L∞范數(shù)約束相結(jié)合，從而大大節(jié)省了計(jì)算時(shí)間和內(nèi)存。其整個(gè)運(yùn)行代價(jià)僅僅相當(dāng)于運(yùn)行一次單核學(xué)習(xí)。通過(guò)大量的實(shí)驗(yàn)驗(yàn)證，該方法比傳統(tǒng)的多核學(xué)習(xí)方法，速度更快，耗用內(nèi)存更少

4、，同時(shí)獲得了相當(dāng)或者更高的分類精度。
　　2.針對(duì)多核學(xué)習(xí)中核矩陣構(gòu)造耗時(shí)太長(zhǎng)的問(wèn)題，提出了基于隨機(jī)核的多核學(xué)習(xí)方法。由極限學(xué)習(xí)機(jī)得到啟發(fā)，當(dāng)單影層神經(jīng)網(wǎng)絡(luò)中的隱層節(jié)點(diǎn)數(shù)目足夠多，在隱藏節(jié)點(diǎn)權(quán)重隨機(jī)賦值的情況下，給定一個(gè)在任意區(qū)間無(wú)限可導(dǎo)的激活函數(shù)，Single-hidden Layer Feedforward Neural Network（SLFN）可以無(wú)限逼近擬合輸入樣本集。由于激活函數(shù)中的權(quán)重可以隨機(jī)賦值，ELM是一種無(wú)參數(shù)

5、的學(xué)習(xí)機(jī)。論文使用Extreme learning machine(ELM)中的激活函數(shù)為多核學(xué)習(xí)構(gòu)造隨機(jī)核，減少了待優(yōu)化的子核規(guī)模。尤其是該方法跟上文的選擇性多核學(xué)習(xí)方法相結(jié)合，從而大大加速了多核學(xué)習(xí)的核構(gòu)造和訓(xùn)練時(shí)間。并且，通過(guò)Rademacher復(fù)雜度分析，多核學(xué)習(xí)的一般性誤差上界隨著子核規(guī)模的減少而降低。因此，本文的方法理論上可以獲得更好的分類結(jié)果。通過(guò)在多個(gè)數(shù)據(jù)庫(kù)上驗(yàn)證，基于隨機(jī)核的方法使得多核學(xué)習(xí)速度更快，占用內(nèi)存更少，而且

6、擁有相當(dāng)或者更高的分類精度。
　　3.多核學(xué)習(xí)應(yīng)用于高光譜圖像分類識(shí)別。針對(duì)高光譜圖像維數(shù)過(guò)高的問(wèn)題，提出了一種兩階段多核學(xué)習(xí)方法來(lái)進(jìn)行維數(shù)約簡(jiǎn)。由于多核學(xué)習(xí)一般性誤差的上確界隨著子核數(shù)目的增加而升高，高光譜圖像中過(guò)高的維數(shù)生成了大量的子核。因此，直接使用多核學(xué)習(xí)對(duì)高光譜圖像進(jìn)行維數(shù)約簡(jiǎn)是不合理的。論文設(shè)計(jì)了一種兩階段的多核學(xué)習(xí)方法，通過(guò)預(yù)先構(gòu)造有益于分類的子核，來(lái)降低待優(yōu)化的子核數(shù)目，從而獲得比直接使用多核學(xué)習(xí)更好的分類結(jié)果。在

7、多個(gè)高光譜圖像上實(shí)驗(yàn)驗(yàn)證，對(duì)比于經(jīng)典的特征選擇方法，兩階段的多核學(xué)習(xí)獲得了更佳的分類性能。
　　4.多核學(xué)習(xí)應(yīng)用于高光譜圖像不平衡分類識(shí)別。當(dāng)分類任務(wù)中存在某些種類樣本數(shù)量過(guò)少的時(shí)候，傳統(tǒng)的分類方法會(huì)因?yàn)閮A向于把樣本劃分為樣本數(shù)目較多的種類，而不能勝任。為了平衡各個(gè)種類的關(guān)系，集成學(xué)習(xí)是一種常用的方法。但是現(xiàn)有的集成方法沒(méi)有考慮所選的分類器，因此其所提供的集成策略針對(duì)某一具體的分類器而言往往不是最優(yōu)的。因?yàn)楦吖庾V圖像的高維小樣本特

8、性，使得支撐矢量機(jī)（Support Vector Machine SVM）成為高光譜分類中一個(gè)常用的分類器。因?yàn)镾VM使用maximum margin作為分類準(zhǔn)則，所以論文充分考慮了高光譜圖像分類器的特性，借鑒了多核學(xué)習(xí)的方法，提出了一種基于maximum margin的集成策略。經(jīng)過(guò)多個(gè)高光譜圖像的實(shí)驗(yàn)驗(yàn)證，該方法在高光譜圖像分類上，要優(yōu)于傳統(tǒng)的不平衡分類方法。
　　5.多核學(xué)習(xí)應(yīng)用于自然圖像分類識(shí)別。針對(duì)自然圖像分類中的金字塔