基于維諾圖的不均衡數(shù)據(jù)集分類(lèi)研究.pdf

1、數(shù)據(jù)分類(lèi)作為數(shù)據(jù)挖掘中備受關(guān)注的一個(gè)研究方向，已經(jīng)有了許多研究成果，這些成果大多在數(shù)據(jù)集中樣本分布均衡的條件下能夠取得很好的結(jié)果，但是在實(shí)際場(chǎng)景中，常見(jiàn)的需要被分類(lèi)的數(shù)據(jù)集在分布狀態(tài)上普遍都有不均衡的特點(diǎn)。所謂不均衡，指的是在整個(gè)數(shù)據(jù)集中，某個(gè)類(lèi)別占的比例相對(duì)比較大，其他類(lèi)別占的比例相對(duì)較小，占比大的樣本實(shí)例一般劃分為多數(shù)類(lèi)，占比小的樣本實(shí)例則劃分為少數(shù)類(lèi)。在類(lèi)別比例不均衡的數(shù)據(jù)集里，少數(shù)類(lèi)樣本相對(duì)決策邊界的分布具有差異性，越靠近決策邊

2、界被錯(cuò)分的可能性越大，基于此，本文提出通過(guò)數(shù)據(jù)集構(gòu)造維諾圖，按照少數(shù)類(lèi)樣本相對(duì)于決策邊界的分布差異，賦予每個(gè)少數(shù)類(lèi)樣本不同的權(quán)重，計(jì)算權(quán)重符合規(guī)則的樣本的采樣概率，隨機(jī)選取樣本合成人工少數(shù)類(lèi)?；诰S諾圖的不均衡數(shù)據(jù)集分類(lèi)主要提出以下改進(jìn)：
　　1.新的邊界識(shí)別方法。不均衡數(shù)據(jù)集中越靠近決策邊界的少數(shù)類(lèi)樣本分類(lèi)意義越高，傳統(tǒng)的分類(lèi)算法并未對(duì)這種差異性做出比較妥善的處理。本文通過(guò)構(gòu)造維諾圖找到分隔少數(shù)類(lèi)與多數(shù)類(lèi)樣本之間的維諾邊作為近似

3、決策邊界集合，計(jì)算每個(gè)少數(shù)類(lèi)樣本到邊界集的最小距離作為少數(shù)類(lèi)樣本的邊界度；
　　2.基于邊界度的采樣策略。根據(jù)邊界樣本集確定新的邊界，利用新的邊界對(duì)邊界度進(jìn)行一定的變換后代入以自然常數(shù)e為底的指數(shù)函數(shù)，利用所有樣本的函數(shù)值進(jìn)行歸一化，最終得到每個(gè)少數(shù)類(lèi)樣本的采樣概率，然后隨機(jī)選擇樣本進(jìn)行過(guò)采樣。上述兩步稱(chēng)之為V-synthⅠ算法。
　　3.處理局部不均衡。上述算法使用樣本到?jīng)Q策邊界的距離作為權(quán)重來(lái)劃分邊界樣本，這種方式更靈活

4、、準(zhǔn)確。但是只根據(jù)少數(shù)類(lèi)樣本的分布差異計(jì)算采樣概率，沒(méi)有考慮多數(shù)類(lèi)分布對(duì)少數(shù)類(lèi)的影響，可能出現(xiàn)數(shù)據(jù)集整體均衡而局部不均衡的現(xiàn)象。為此，在V-synthⅠ算法的基礎(chǔ)上使用層次聚類(lèi)中的凝聚類(lèi)方法對(duì)多數(shù)類(lèi)聚類(lèi)，形成若干個(gè)簇，計(jì)算每個(gè)簇中多數(shù)類(lèi)的分布密度以及多數(shù)類(lèi)簇對(duì)少數(shù)類(lèi)樣本點(diǎn)的影響因子，更新樣本的采樣概率。該算法稱(chēng)之為V-synthⅡ算法。
　　通過(guò)人為構(gòu)造特殊分布的數(shù)據(jù)集和選取分類(lèi)問(wèn)題中常用的UCI數(shù)據(jù)集用于實(shí)驗(yàn)分析，利用上述的兩種