失衡樣本分類問題的自動過濾算法的研究.pdf

1、失衡樣本，即不平衡的數(shù)據(jù)集，是指在一個數(shù)據(jù)集中不同類樣本的數(shù)量相差懸殊。研究表明不平衡數(shù)據(jù)集嚴(yán)重影響了很多傳統(tǒng)機(jī)器學(xué)習(xí)算法的分類性能，特別是少數(shù)類的分類性能可能很差。同時，不平衡數(shù)據(jù)集還導(dǎo)致訓(xùn)練分類器的速度過慢。然而在現(xiàn)實世界中，許多數(shù)據(jù)集都是不平衡的，甚至不平衡的程度很嚴(yán)重：有些數(shù)據(jù)集中只有3％～5％的少數(shù)類樣本，例如多媒體語義分類，信息檢索，醫(yī)療檢測等。此外，人們通常更關(guān)心數(shù)據(jù)集中的少數(shù)類樣本，例如信息檢索中與關(guān)鍵字相關(guān)的文檔總是占

2、很少數(shù)，所以人們更希望少數(shù)類有很好的分類性能。由于傳統(tǒng)的機(jī)器學(xué)習(xí)分類算法不能滿足在現(xiàn)實中的分類應(yīng)用性能良好，因此失衡樣本問題迫切需要得到解決。
　　 為了解決失衡樣本所帶來的以上問題，本文首先提出了過濾數(shù)據(jù)集中的樣本以平衡數(shù)據(jù)集的思想。這個思想希望通過過濾失衡樣本中的對分類沒有幫助的多數(shù)類樣本，從而拉小兩類樣本數(shù)量的差異，使數(shù)據(jù)集平衡并提高機(jī)器學(xué)習(xí)算法的效果。
　　 為了實現(xiàn)這個思想，本文又提出了一個新穎的過濾規(guī)則提取算

3、法。該算法自動從失衡的訓(xùn)練集中提取規(guī)則，這些規(guī)則能有效的去除樣本空間中遠(yuǎn)離分類邊界的沒有用的多數(shù)類，盡量保留少數(shù)類，最后使得數(shù)據(jù)集平衡。
　　 在實驗中，首先提取過濾規(guī)則，之后使用提取的規(guī)則過濾失衡數(shù)據(jù)集，最后用SVM對過濾后的訓(xùn)練集訓(xùn)練分類器。此外，本文還將該思想和算法應(yīng)用于自動提取新聞圖片中。從實驗結(jié)果可以看出：
　　 1)本文提出的過濾樣本平衡數(shù)據(jù)集的方法是可行的、有效的。
　　 2)自動規(guī)則提取算法提取出