基于演化超網(wǎng)絡(luò)的高維不平衡數(shù)據(jù)分類.pdf

1、超網(wǎng)絡(luò)是在細(xì)胞中生物分子網(wǎng)絡(luò)的啟發(fā)下形成的一種用于學(xué)習(xí)和記憶的概率圖論模型。超網(wǎng)絡(luò)是一種由大量超邊組成的特殊超圖。與一般意義上的圖不同，超圖的超邊可以連接兩個(gè)以上頂點(diǎn)。超網(wǎng)絡(luò)的這種特殊結(jié)構(gòu)使其能夠有效地表示特征屬性之間的高階關(guān)聯(lián)性。超網(wǎng)絡(luò)是一種基于規(guī)則的分類器。在模式分類的框架下，超網(wǎng)絡(luò)的超邊被看作決策規(guī)則，超邊被賦予相應(yīng)的權(quán)值，用以表示特征屬性與類別之間的關(guān)聯(lián)程度，權(quán)值越大，關(guān)聯(lián)性越高。與其它模式分類方法相比較，超網(wǎng)絡(luò)分類模型具有實(shí)現(xiàn)

2、簡(jiǎn)單、學(xué)習(xí)結(jié)果可讀等優(yōu)點(diǎn)。目前，超網(wǎng)絡(luò)模型已經(jīng)在生物醫(yī)學(xué)、多模態(tài)信息檢索、文本分類等領(lǐng)域取得了比較成功的應(yīng)用。 本文主要研究基于超網(wǎng)絡(luò)模型的不平衡數(shù)據(jù)分類和高維數(shù)據(jù)分類問題，以及基于GPU的超網(wǎng)絡(luò)的并行演化學(xué)習(xí)和分類。
　　 不平衡數(shù)據(jù)分類問題是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域的一個(gè)研究熱點(diǎn)。所謂不平衡數(shù)據(jù)是指數(shù)據(jù)中類別分布不均勻、某個(gè)類別的樣本占支配地位的數(shù)據(jù)集。不平衡數(shù)據(jù)普遍存在于現(xiàn)實(shí)世界中，如醫(yī)療數(shù)據(jù)分類、信用卡非法交易檢測(cè)等。然而

3、傳統(tǒng)的機(jī)器學(xué)習(xí)方法大都是建立在樣本類別分布均衡的基礎(chǔ)之上的。因此，在處理不平衡數(shù)據(jù)分類問題時(shí)傳統(tǒng)機(jī)器學(xué)習(xí)方法不能獲得滿意的結(jié)果。針對(duì)這一問題，介紹了一種代價(jià)敏感超網(wǎng)絡(luò)選擇性集成的方法。首先將代價(jià)敏感學(xué)習(xí)引入超網(wǎng)絡(luò)模型，提出了代價(jià)敏感的超網(wǎng)絡(luò)模型。然后為了解決代價(jià)設(shè)置問題，采用選擇性集成的方式自適應(yīng)地設(shè)置代價(jià)參數(shù)。最后，在處理類別分布嚴(yán)重不平衡的數(shù)據(jù)的分類問題時(shí)，將采樣技術(shù)與代價(jià)敏感超網(wǎng)絡(luò)選擇性集成方法相結(jié)合，首先通過采樣技術(shù)降低數(shù)據(jù)的不

4、平衡程度，然后在采樣后的數(shù)據(jù)上對(duì)代價(jià)敏感超網(wǎng)絡(luò)進(jìn)行選擇性集成。在10個(gè)常用的不平衡數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)結(jié)果表明本文提出的代價(jià)敏感超網(wǎng)絡(luò)選擇性集成方法具有處理不平衡數(shù)據(jù)分類問題的優(yōu)勢(shì)。
　　 超網(wǎng)絡(luò)模型可以從訓(xùn)練數(shù)據(jù)中有效地挖掘特征屬性之間的高階關(guān)聯(lián)性。然而，和其它傳統(tǒng)的機(jī)器學(xué)習(xí)方法一樣，在處理高維數(shù)據(jù)時(shí)超網(wǎng)絡(luò)也面臨著“維數(shù)災(zāi)難”的問題。超網(wǎng)絡(luò)模型的搜索空間會(huì)隨著數(shù)據(jù)維數(shù)的增加而顯著擴(kuò)大，這對(duì)超網(wǎng)絡(luò)模型的學(xué)習(xí)效果和學(xué)習(xí)效率都產(chǎn)生了嚴(yán)

5、重的影響。為了解決超網(wǎng)絡(luò)在處理高維數(shù)據(jù)的分類問題時(shí)所面臨的問題，介紹了一種多視角分層超網(wǎng)絡(luò)模型。首先將原始數(shù)據(jù)劃分為多個(gè)低維的局部視圖，然后在每個(gè)局部視圖上訓(xùn)練第一層超網(wǎng)絡(luò)模型，最后將第一層超網(wǎng)絡(luò)作為第二層超網(wǎng)絡(luò)的輸入，對(duì)第一層超網(wǎng)絡(luò)模型學(xué)習(xí)得到的局部概念進(jìn)行整合，形成全局概念。采用多視角的思想，第一層超網(wǎng)絡(luò)可以在低維的局部視圖中高效地搜索類別分辨能力強(qiáng)的超邊，第二層超網(wǎng)絡(luò)模型對(duì)第一層的局部概念進(jìn)行整合。多視角分層超網(wǎng)絡(luò)模型可以很好地維

6、持?jǐn)?shù)據(jù)的局部視圖和全局視圖，為解決高維數(shù)據(jù)分類問題提供了一種有效的方法。在4個(gè)高維數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明多視角分層超網(wǎng)絡(luò)模型能夠改善普通超網(wǎng)絡(luò)在高維數(shù)據(jù)分類問題上的分類性能。
　　 目前，超網(wǎng)絡(luò)模型是通過DNA計(jì)算實(shí)現(xiàn)的。在基于DNA計(jì)算的超網(wǎng)絡(luò)模型中，采用四種核糖核苷酸(A，T，G，C)將超邊編碼成DNA分子，超網(wǎng)絡(luò)就是一個(gè)由大量DNA分子組成的分子庫(kù)，超網(wǎng)絡(luò)的演化學(xué)習(xí)是通過酶促反應(yīng)等生物技術(shù)實(shí)現(xiàn)的。超網(wǎng)絡(luò)的學(xué)習(xí)和分類在DNA計(jì)

7、算中都是以高度并行的方式進(jìn)行的。然而，DNA計(jì)算雖然具有很高的并行性，但是DNA計(jì)算的技術(shù)難度比較大且對(duì)實(shí)驗(yàn)條件的要求比較苛刻，這在一定程度上限制了DNA計(jì)算的使用范圍?，F(xiàn)代GPU已經(jīng)演變?yōu)橐环N通用的并行處理器，它的出現(xiàn)為實(shí)現(xiàn)超網(wǎng)絡(luò)的并行化提供了一條新的、簡(jiǎn)單的途徑。基于GPU并行計(jì)算框架，介紹了一種孤島遺傳算法演化的并行超網(wǎng)絡(luò)模型。超網(wǎng)絡(luò)被看作為由很多個(gè)體組成的一個(gè)種群，一條超邊表示一個(gè)個(gè)體。為了使用遺傳算法對(duì)超網(wǎng)絡(luò)進(jìn)行演化學(xué)習(xí)，首先

8、將超邊編碼成二進(jìn)制串，然后將整個(gè)超邊庫(kù)劃分成多個(gè)子庫(kù)，每個(gè)子庫(kù)分別代表一個(gè)子種群。在對(duì)超網(wǎng)絡(luò)模型進(jìn)行演化學(xué)習(xí)時(shí)，把一個(gè)子種群映射到GPU的一個(gè)線程塊，而該子種群中的個(gè)體被映射到線程塊中的線程之上，并由線程負(fù)責(zé)個(gè)體的演化學(xué)習(xí)的所有操作的實(shí)現(xiàn)。由于GPU中的線程具有線程塊間和線程塊內(nèi)兩個(gè)層次的并行性，超網(wǎng)絡(luò)的演化學(xué)習(xí)能夠獲得很高的并行性。在4個(gè)DNA微陣列數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明與基于CPU的單線程的實(shí)現(xiàn)方式相比，基于GPU的并行超網(wǎng)