面向流數(shù)據(jù)的不平衡樣本分類研究.pdf

1、隨著信息技術(shù)的迅猛發(fā)展，出現(xiàn)了越來越多的數(shù)據(jù)形態(tài)，而流數(shù)據(jù)就是其中之一。該類數(shù)據(jù)不同于傳統(tǒng)數(shù)據(jù)，其擁有海量性、實時性和動態(tài)變化性等特點。除此之外，在實際的應(yīng)用中，數(shù)據(jù)往往是不平衡的，如信用卡交易記錄中判斷金融詐騙的數(shù)據(jù)、預(yù)測是否患病的醫(yī)療體檢數(shù)據(jù)等。
　　在處理不平衡樣本問題中，SMOTE算法的思想主要是對相鄰的少數(shù)類樣點進(jìn)行線性插值生成新的少數(shù)類樣本點，以此來緩解數(shù)據(jù)的不平衡性。REA算法在解決面向流數(shù)據(jù)的不平衡樣本分類問題時是

2、通過采用滑動窗口機(jī)制，分時段地對分類器進(jìn)行訓(xùn)練，最后采用集成的方法，形成最終的分類器。上述兩種方法在解決本課題的問題上存在著各自的缺點，SMOTE算法并沒有考慮到不同區(qū)域間少數(shù)類樣本點的分布問題，并且也不能很好的掌控生成樣本點的位置，而 REA算法僅通過加入歷史少數(shù)類樣本點來緩解數(shù)據(jù)的不平衡性，往往忽略了對概念漂移以及類內(nèi)不平衡問題的考慮。
　　針對上述問題，本文提出了一種結(jié)合了REA算法和SMOTE算法的改進(jìn)算法——CSMOTE

3、_REA，用來應(yīng)對面向流數(shù)據(jù)的不平衡樣本分類問題。在本算法中提出了具有聚類特性的采樣方法，首先在訓(xùn)練數(shù)據(jù)中通過加入歷史數(shù)據(jù)來增加少數(shù)類樣本點的數(shù)量，然后通過對少數(shù)類樣本點進(jìn)行聚類，以此來達(dá)到對不同區(qū)域少數(shù)類樣本點的識別目的。同時，本文提出了一種基于網(wǎng)格生成樣本的方法，該算法使得生成的樣本點與原始少數(shù)類樣本點具有更強(qiáng)的相關(guān)性，增大了少數(shù)類樣本點的聚合度。此外，又提出了一種測試樣本自適應(yīng)的選擇多分類器進(jìn)行集成的方法，增大了分類器與樣本的關(guān)聯(lián)