基于梯度提升模型的負(fù)相關(guān)學(xué)習(xí)算法的研究與應(yīng)用.pdf

1、論文的第一個工作是關(guān)于集成學(xué)習(xí)的研究。在機(jī)器學(xué)習(xí)領(lǐng)域，我們把具備從經(jīng)驗知識中學(xué)習(xí)能力的系統(tǒng)或者模型叫做學(xué)習(xí)器。一般來說訓(xùn)練出一個學(xué)習(xí)能力較弱的模型比訓(xùn)練出一個學(xué)習(xí)能力較強(qiáng)的模型所要耗費的代價小得多。集成學(xué)習(xí)是一類特殊的機(jī)器學(xué)習(xí)方法，其思想是不直接訓(xùn)練一個強(qiáng)學(xué)習(xí)器，而是通過組合一批弱學(xué)習(xí)器來得到一個學(xué)習(xí)能力強(qiáng)的集成學(xué)習(xí)器。集成學(xué)習(xí)算法性能好壞主要取決于兩個因素:基學(xué)習(xí)器自身的性能好壞以及基學(xué)習(xí)器之間的差異性。目前常用的集成學(xué)習(xí)算法包括Ba

2、gging、Boosting等，在提升每個基學(xué)習(xí)器性能的同時，其實也是在以一種隱性的方式維持了基學(xué)習(xí)器之間的差異性，從而使得最終的集成學(xué)習(xí)器的性能達(dá)到最佳。負(fù)相關(guān)學(xué)習(xí)(Negative correlationlearning，NCL)是一種常用于神經(jīng)網(wǎng)絡(luò)集成的集成學(xué)習(xí)算法，它是把基學(xué)習(xí)器之間的差異性作為一個顯性的度量標(biāo)準(zhǔn)引入到神經(jīng)網(wǎng)絡(luò)的損失函數(shù)中去，進(jìn)而影響神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。通過調(diào)整影響影子可以權(quán)衡基神經(jīng)網(wǎng)絡(luò)之間的性能與多樣性，以謀求獲得

3、一個性能最優(yōu)的集成神經(jīng)網(wǎng)絡(luò)模型。
　　我們借鑒NCL的思路，提出了一種新的集成學(xué)習(xí)算法。NCL最早提出是使用神經(jīng)網(wǎng)絡(luò)作為基學(xué)習(xí)器，而且目前有關(guān)NCL的研究大多數(shù)還是采用神經(jīng)網(wǎng)絡(luò)作為基學(xué)習(xí)模型，主要原因是神經(jīng)網(wǎng)絡(luò)具有一個顯性的損失函數(shù)，而且訓(xùn)練神經(jīng)網(wǎng)絡(luò)的BP算法是一種采用梯度下降方法來最小化該損失函數(shù)的優(yōu)化算法。我們比較了神經(jīng)網(wǎng)絡(luò)與另外一種常用的學(xué)習(xí)模型:梯度提升模型(gradientboosting machine，GBM)之間的

4、相似性，提出可以用GBM代替神經(jīng)網(wǎng)絡(luò)來實踐負(fù)相關(guān)學(xué)習(xí)的思想，設(shè)計出一種新的集成學(xué)習(xí)算法:GB-NCL。論文給出了GB-NCL算法的設(shè)計思路以及詳細(xì)的步驟，并且通過實驗比較了GB-NCL與原始基于神經(jīng)網(wǎng)絡(luò)的NCL算法以及梯度提升算法的分類性能。實驗結(jié)果表明GB-NCL算法相比于這兩種算法，擁有更好的性能。
　　論文的第二個工作是基于GB-NCL算法設(shè)計并實現(xiàn)了一種新的用于解決高光譜遙感圖像分類問題的分類算法:RCASSL。高光譜遙感

5、圖像分類的特點是標(biāo)記樣本少，未標(biāo)記的樣本多，而且人工標(biāo)記遙感圖像的像素點屬于什么地物類別的成本比較大。前人的做法主要有兩種:第一種，利用主動學(xué)習(xí)算法，從大量未標(biāo)記樣本中挑選出最值得標(biāo)記的像素點讓人類專家來標(biāo)記其所屬的地物類別。這種方法的特點是新增訓(xùn)練樣本的質(zhì)量高（類標(biāo)號百分百正確），但是數(shù)量少。第二種，利用半監(jiān)督學(xué)習(xí)算法，用已訓(xùn)練出來的分類器賦予一些未標(biāo)記樣本類標(biāo)號，并將其視為真實可用的樣本，添加到訓(xùn)練集中，我們稱之為“偽標(biāo)記”樣本。這

6、類算法可以大大提高訓(xùn)練樣本數(shù)量但是無法保證新增的偽標(biāo)記樣本的類標(biāo)號一定正確。數(shù)量多，質(zhì)量不好，這是半監(jiān)督學(xué)習(xí)算法的特點。
　　我們提出不妨將主動學(xué)習(xí)與半監(jiān)督學(xué)習(xí)結(jié)合，并且引入一套“偽”標(biāo)記樣本驗證的機(jī)制，對通過半監(jiān)督學(xué)習(xí)引入進(jìn)來的偽標(biāo)記樣本進(jìn)行校驗，將不合格的偽標(biāo)記樣本剔除出去，從而既能夠獲得足夠多的訓(xùn)練樣本，又能夠保證訓(xùn)練樣本集的質(zhì)量。擁有了更大更完備的訓(xùn)練集，訓(xùn)練出來的分類器也就自然會有更佳的性能。根據(jù)這種想法我們在論文中針對

7、高光譜遙感分類設(shè)計了RCASSL算法。RCASSL在訓(xùn)練分類器的時候不僅采用帶標(biāo)記的樣本，而且使用半監(jiān)督學(xué)習(xí)引入的偽標(biāo)記樣本。我們采用GB-NCL算法校驗半監(jiān)督學(xué)習(xí)方法引入的偽標(biāo)記樣本，提升偽標(biāo)記樣本集的質(zhì)量。我們在高光譜遙感數(shù)數(shù)據(jù)集上對比了RCASSL算法、MCLU-ECBD算法以及RCASSL-NoPLV算法。MCLU-ECBD算法是一種常用的主動學(xué)習(xí)算法。RCASSL-NoPLV算法是去除掉偽標(biāo)記樣驗證環(huán)節(jié)的RCASSL算法。實驗