面向互聯(lián)網(wǎng)應(yīng)用的不平衡數(shù)據(jù)分類(lèi)技術(shù)研究.pdf

1、互聯(lián)網(wǎng)的飛速發(fā)展，尤其是各類(lèi)互聯(lián)網(wǎng)應(yīng)用，如網(wǎng)絡(luò)新聞、電子郵件、電子商務(wù)等的發(fā)展為人們獲取信息提供了便捷，但也同時(shí)將人們淹沒(méi)在信息的海洋中。對(duì)海量的互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)自動(dòng)進(jìn)行分類(lèi)可以有效提高人們獲取信息的效率，進(jìn)而提升決策效率。然而，很多互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)中某一類(lèi)別或多個(gè)類(lèi)別對(duì)應(yīng)的樣例數(shù)目明顯少于其它類(lèi)別對(duì)應(yīng)的樣例數(shù)目，形成所謂不平衡數(shù)據(jù)，如反動(dòng)新聞與正常新聞、垃圾郵件與正常郵件、異常交易與正常交易等。傳統(tǒng)的基于類(lèi)別均勻分布假設(shè)所設(shè)計(jì)的分類(lèi)方法以

2、及評(píng)價(jià)策略通常以整體的準(zhǔn)確率為優(yōu)化目標(biāo)，容易忽視其中的少數(shù)類(lèi)別。而在實(shí)際應(yīng)用中，人們經(jīng)常更加關(guān)心少數(shù)類(lèi)別，如網(wǎng)監(jiān)部門(mén)更加希望識(shí)別出反動(dòng)新聞、郵件服務(wù)商希望更好地識(shí)別出垃圾郵件、電子商務(wù)平臺(tái)希望檢測(cè)出其中的異常交易等。互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)的持續(xù)到達(dá)特性以及類(lèi)別分布的不平衡性為準(zhǔn)確進(jìn)行數(shù)據(jù)分類(lèi)帶來(lái)了諸多困難與挑戰(zhàn)。因而對(duì)面向互聯(lián)網(wǎng)應(yīng)用的不平衡數(shù)據(jù)分類(lèi)技術(shù)進(jìn)行研究具有很強(qiáng)的現(xiàn)實(shí)意義和社會(huì)價(jià)值。
　　本文從互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)的特性以及承擔(dān)項(xiàng)目的實(shí)際

3、需求出發(fā)，遵循由簡(jiǎn)單到復(fù)雜的思路，對(duì)不同類(lèi)型的互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)設(shè)計(jì)了相應(yīng)的處理算法。首先從常見(jiàn)的兩類(lèi)別不平衡數(shù)據(jù)出發(fā)，針對(duì)其特點(diǎn)及實(shí)際應(yīng)用需求，研究了不平衡數(shù)據(jù)預(yù)處理中的噪聲過(guò)濾策略和數(shù)據(jù)重采樣方法。之后，將其擴(kuò)展到多類(lèi)別（類(lèi)別數(shù)目多于兩個(gè)，但每個(gè)樣例只能屬于一個(gè)類(lèi)別）不平衡數(shù)據(jù)應(yīng)用場(chǎng)景，提出了分解策略與數(shù)據(jù)重采樣相結(jié)合的處理方法。之后，進(jìn)一步將前述研究成果拓展應(yīng)用到多標(biāo)簽（不同于多類(lèi)別，此時(shí)同一樣例可以屬于多個(gè)類(lèi)別）不平衡數(shù)據(jù)分類(lèi)中，設(shè)

4、計(jì)了新的集成學(xué)習(xí)框架和基礎(chǔ)分類(lèi)算法。最后，根據(jù)互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)持續(xù)到達(dá)的特點(diǎn)，研究了在不平衡數(shù)據(jù)流上的多窗口學(xué)習(xí)策略：
　?。?）在兩類(lèi)別不平衡數(shù)據(jù)的預(yù)處理方面，首先針對(duì)不平衡數(shù)據(jù)集中可能存在的噪聲，提出了基于 IPF的改進(jìn)噪聲過(guò)濾方法，以盡可能減少噪聲過(guò)濾時(shí)將少數(shù)類(lèi)樣例誤判為噪聲的可能性。之后，針對(duì)少數(shù)類(lèi)樣例和多數(shù)類(lèi)樣例各自的特點(diǎn)，分別設(shè)計(jì)了基于近鄰分布的少數(shù)類(lèi)過(guò)采樣算法以及基于距離排序的多數(shù)類(lèi)欠采樣算法。在此基礎(chǔ)上，針對(duì)實(shí)際應(yīng)用

5、需求，設(shè)計(jì)了少數(shù)類(lèi)和多數(shù)類(lèi)之間采樣比例的自適應(yīng)方法，從而減小了數(shù)據(jù)重采樣對(duì)后續(xù)處理流程的影響。最后，通過(guò)在大量真實(shí)數(shù)據(jù)集上的測(cè)試驗(yàn)證了所提方法的有效性，尤其是對(duì)于少數(shù)類(lèi)別分類(lèi)效果的提升明顯；
　?。?）在多類(lèi)別不平衡數(shù)據(jù)分類(lèi)方面，針對(duì)互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)的多類(lèi)別特性，提出分而治之的學(xué)習(xí)策略。首先使用一對(duì)多的OVA方法對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行分解并訓(xùn)練得到多個(gè)子分類(lèi)器。此時(shí)，所有的子分類(lèi)器都是基于全部類(lèi)別數(shù)據(jù)訓(xùn)練得到，確保了子分類(lèi)器的適應(yīng)性。之后，

6、使用一對(duì)一的OVO方法對(duì)候選類(lèi)別對(duì)應(yīng)的樣例集進(jìn)一步劃分，此階段根據(jù)劃分子集的類(lèi)別分布決定是否進(jìn)行數(shù)據(jù)重采樣。最后，在采樣后的數(shù)據(jù)子集上訓(xùn)練得到更加細(xì)粒度的子分類(lèi)器。此外，根據(jù)實(shí)際應(yīng)用需求，分別設(shè)計(jì)了子分類(lèi)器輸出值為離散和連續(xù)情形下的不同處理策略。在理論分析的基礎(chǔ)上，對(duì)所提方法在多個(gè)真實(shí)數(shù)據(jù)集上進(jìn)行了測(cè)試，結(jié)果表明所提方法能夠有效處理多類(lèi)別數(shù)據(jù)中存在的不平衡問(wèn)題；
　?。?）在多標(biāo)簽不平衡數(shù)據(jù)分類(lèi)方面，針對(duì)已有方法偏重多標(biāo)簽分解而缺

7、乏對(duì)標(biāo)簽分布不平衡性考慮的問(wèn)題，提出了一種多標(biāo)簽不平衡數(shù)據(jù)集成學(xué)習(xí)框架并設(shè)計(jì)了相應(yīng)的基礎(chǔ)分類(lèi)算法。以AdaBoost方法為基礎(chǔ)，該框架將標(biāo)簽分布的不平衡特性集成到了各個(gè)子分類(lèi)器的學(xué)習(xí)訓(xùn)練過(guò)程中。此外，以多標(biāo)簽神經(jīng)網(wǎng)絡(luò)方法BPMLL為基礎(chǔ)，設(shè)計(jì)了針對(duì)多標(biāo)簽不平衡數(shù)據(jù)的改進(jìn)算法并將其作為集成學(xué)習(xí)框架的基礎(chǔ)分類(lèi)算法，在多個(gè)實(shí)際應(yīng)用數(shù)據(jù)集上對(duì)分類(lèi)效果進(jìn)行了測(cè)試，表明了所提方法的有效性；
　?。?）在不平衡數(shù)據(jù)流分類(lèi)方面，針對(duì)互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)

8、流的動(dòng)態(tài)特性以及各個(gè)類(lèi)別樣例到達(dá)順序的不確定性，提出了一種基于多窗口機(jī)制的集成學(xué)習(xí)方法。該方法根據(jù)不平衡數(shù)據(jù)流的特點(diǎn)，定義了四個(gè)不同的窗口分別用于保存當(dāng)前滑動(dòng)窗口數(shù)據(jù)、最近的少數(shù)類(lèi)樣例、經(jīng)篩選的子分類(lèi)器以及子分類(lèi)器對(duì)應(yīng)的歷史窗口數(shù)據(jù)。分別為不同的窗口設(shè)計(jì)了不同的更新策略。對(duì)于新的測(cè)試樣例，其類(lèi)別標(biāo)簽通過(guò)多數(shù)加權(quán)投票確定。通過(guò)在多個(gè)人工合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上的測(cè)試表明，該方法效果更好，效率更高。
　　綜上所述，本文針對(duì)互聯(lián)網(wǎng)應(yīng)用中