面向互聯(lián)網(wǎng)應(yīng)用的不平衡數(shù)據(jù)分類技術(shù)研究.pdf

1、互聯(lián)網(wǎng)的飛速發(fā)展，尤其是各類互聯(lián)網(wǎng)應(yīng)用，如網(wǎng)絡(luò)新聞、電子郵件、電子商務(wù)等的發(fā)展為人們獲取信息提供了便捷，但也同時將人們淹沒在信息的海洋中。對海量的互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)自動進(jìn)行分類可以有效提高人們獲取信息的效率，進(jìn)而提升決策效率。然而，很多互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)中某一類別或多個類別對應(yīng)的樣例數(shù)目明顯少于其它類別對應(yīng)的樣例數(shù)目，形成所謂不平衡數(shù)據(jù)，如反動新聞與正常新聞、垃圾郵件與正常郵件、異常交易與正常交易等。傳統(tǒng)的基于類別均勻分布假設(shè)所設(shè)計的分類方法以

2、及評價策略通常以整體的準(zhǔn)確率為優(yōu)化目標(biāo)，容易忽視其中的少數(shù)類別。而在實(shí)際應(yīng)用中，人們經(jīng)常更加關(guān)心少數(shù)類別，如網(wǎng)監(jiān)部門更加希望識別出反動新聞、郵件服務(wù)商希望更好地識別出垃圾郵件、電子商務(wù)平臺希望檢測出其中的異常交易等。互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)的持續(xù)到達(dá)特性以及類別分布的不平衡性為準(zhǔn)確進(jìn)行數(shù)據(jù)分類帶來了諸多困難與挑戰(zhàn)。因而對面向互聯(lián)網(wǎng)應(yīng)用的不平衡數(shù)據(jù)分類技術(shù)進(jìn)行研究具有很強(qiáng)的現(xiàn)實(shí)意義和社會價值。
　　本文從互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)的特性以及承擔(dān)項目的實(shí)際

3、需求出發(fā)，遵循由簡單到復(fù)雜的思路，對不同類型的互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)設(shè)計了相應(yīng)的處理算法。首先從常見的兩類別不平衡數(shù)據(jù)出發(fā)，針對其特點(diǎn)及實(shí)際應(yīng)用需求，研究了不平衡數(shù)據(jù)預(yù)處理中的噪聲過濾策略和數(shù)據(jù)重采樣方法。之后，將其擴(kuò)展到多類別（類別數(shù)目多于兩個，但每個樣例只能屬于一個類別）不平衡數(shù)據(jù)應(yīng)用場景，提出了分解策略與數(shù)據(jù)重采樣相結(jié)合的處理方法。之后，進(jìn)一步將前述研究成果拓展應(yīng)用到多標(biāo)簽（不同于多類別，此時同一樣例可以屬于多個類別）不平衡數(shù)據(jù)分類中，設(shè)

4、計了新的集成學(xué)習(xí)框架和基礎(chǔ)分類算法。最后，根據(jù)互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)持續(xù)到達(dá)的特點(diǎn)，研究了在不平衡數(shù)據(jù)流上的多窗口學(xué)習(xí)策略：
　?。?）在兩類別不平衡數(shù)據(jù)的預(yù)處理方面，首先針對不平衡數(shù)據(jù)集中可能存在的噪聲，提出了基于 IPF的改進(jìn)噪聲過濾方法，以盡可能減少噪聲過濾時將少數(shù)類樣例誤判為噪聲的可能性。之后，針對少數(shù)類樣例和多數(shù)類樣例各自的特點(diǎn)，分別設(shè)計了基于近鄰分布的少數(shù)類過采樣算法以及基于距離排序的多數(shù)類欠采樣算法。在此基礎(chǔ)上，針對實(shí)際應(yīng)用

5、需求，設(shè)計了少數(shù)類和多數(shù)類之間采樣比例的自適應(yīng)方法，從而減小了數(shù)據(jù)重采樣對后續(xù)處理流程的影響。最后，通過在大量真實(shí)數(shù)據(jù)集上的測試驗證了所提方法的有效性，尤其是對于少數(shù)類別分類效果的提升明顯；
　?。?）在多類別不平衡數(shù)據(jù)分類方面，針對互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)的多類別特性，提出分而治之的學(xué)習(xí)策略。首先使用一對多的OVA方法對訓(xùn)練數(shù)據(jù)進(jìn)行分解并訓(xùn)練得到多個子分類器。此時，所有的子分類器都是基于全部類別數(shù)據(jù)訓(xùn)練得到，確保了子分類器的適應(yīng)性。之后，

6、使用一對一的OVO方法對候選類別對應(yīng)的樣例集進(jìn)一步劃分，此階段根據(jù)劃分子集的類別分布決定是否進(jìn)行數(shù)據(jù)重采樣。最后，在采樣后的數(shù)據(jù)子集上訓(xùn)練得到更加細(xì)粒度的子分類器。此外，根據(jù)實(shí)際應(yīng)用需求，分別設(shè)計了子分類器輸出值為離散和連續(xù)情形下的不同處理策略。在理論分析的基礎(chǔ)上，對所提方法在多個真實(shí)數(shù)據(jù)集上進(jìn)行了測試，結(jié)果表明所提方法能夠有效處理多類別數(shù)據(jù)中存在的不平衡問題；
　?。?）在多標(biāo)簽不平衡數(shù)據(jù)分類方面，針對已有方法偏重多標(biāo)簽分解而缺

7、乏對標(biāo)簽分布不平衡性考慮的問題，提出了一種多標(biāo)簽不平衡數(shù)據(jù)集成學(xué)習(xí)框架并設(shè)計了相應(yīng)的基礎(chǔ)分類算法。以AdaBoost方法為基礎(chǔ)，該框架將標(biāo)簽分布的不平衡特性集成到了各個子分類器的學(xué)習(xí)訓(xùn)練過程中。此外，以多標(biāo)簽神經(jīng)網(wǎng)絡(luò)方法BPMLL為基礎(chǔ)，設(shè)計了針對多標(biāo)簽不平衡數(shù)據(jù)的改進(jìn)算法并將其作為集成學(xué)習(xí)框架的基礎(chǔ)分類算法，在多個實(shí)際應(yīng)用數(shù)據(jù)集上對分類效果進(jìn)行了測試，表明了所提方法的有效性；
　?。?）在不平衡數(shù)據(jù)流分類方面，針對互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)

8、流的動態(tài)特性以及各個類別樣例到達(dá)順序的不確定性，提出了一種基于多窗口機(jī)制的集成學(xué)習(xí)方法。該方法根據(jù)不平衡數(shù)據(jù)流的特點(diǎn)，定義了四個不同的窗口分別用于保存當(dāng)前滑動窗口數(shù)據(jù)、最近的少數(shù)類樣例、經(jīng)篩選的子分類器以及子分類器對應(yīng)的歷史窗口數(shù)據(jù)。分別為不同的窗口設(shè)計了不同的更新策略。對于新的測試樣例，其類別標(biāo)簽通過多數(shù)加權(quán)投票確定。通過在多個人工合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上的測試表明，該方法效果更好，效率更高。
　　綜上所述，本文針對互聯(lián)網(wǎng)應(yīng)用中