基于Co_training的數(shù)據(jù)集重疊問題研究.pdf

1、分類問題一直是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域的重要問題之一。數(shù)據(jù)集的不平衡問題一度被視為影響分類效果的主要因素，學(xué)術(shù)界分別于2000年和2003年舉行會(huì)議進(jìn)行了討論，學(xué)術(shù)成果相當(dāng)豐富。但隨著研究的深入，陸續(xù)有學(xué)者提出數(shù)據(jù)集的不平衡問題并不是影響分類效果的關(guān)鍵因素，而不同類別的樣本在樣本空間上的重疊問題才是導(dǎo)致分類精度不高的主要原因。目前數(shù)據(jù)集重疊問題已逐漸成為新的研究熱點(diǎn)，受到越來越多研究者的關(guān)注?，F(xiàn)有的處理數(shù)據(jù)集的重疊問題的方法主要是選擇性刪

2、除數(shù)據(jù)和特征提取。選擇性刪除數(shù)據(jù)的目的是找出數(shù)據(jù)集重疊的區(qū)域，并將該區(qū)域的樣本刪除，常用方法有Data Clean和Edit。而利用特征提取算法處理數(shù)據(jù)集的重疊問題的研究目前還只停留在理論階段。 本文提出了兩個(gè)處理數(shù)據(jù)集重疊問題的方法：基于離群點(diǎn)檢測(cè)的處理方法，融合了Tomek Links和KNN兩種傳統(tǒng)方法，從樣本集中找出最近鄰類標(biāo)與之相反的樣本，然后利用KNN方法判斷其是否是離群點(diǎn)，若是，則將其刪除。基于半監(jiān)督學(xué)習(xí)法的處理方