面向大規(guī)模失衡數(shù)據(jù)集的數(shù)據(jù)挖掘研究.pdf

1、數(shù)據(jù)挖掘領(lǐng)域中，面向大規(guī)模失衡數(shù)據(jù)集的分類問題是其中一個難點。目前常見的數(shù)據(jù)挖掘算法適用于小規(guī)模的數(shù)據(jù)集，在處理時可以獲得理想的分類效果?？墒沁@些挖掘算法在處理具有一定失衡比的大數(shù)據(jù)集時，通常的數(shù)據(jù)挖掘算法有效性大大降低，時間復(fù)雜度和內(nèi)存限制問題成是大規(guī)模數(shù)據(jù)處理的一個瓶頸。同時，現(xiàn)實中的數(shù)據(jù)集很多都是失衡的，即一些類別的樣本數(shù)量明顯比其他類別少。其中多數(shù)類樣本是負類，少數(shù)類樣本是正類?，F(xiàn)有研究都是將對大數(shù)據(jù)的處理和數(shù)據(jù)的不平衡性作為兩

2、個獨立的問題分別研究。但是現(xiàn)實中的大規(guī)模數(shù)據(jù)集通常具備不平衡性。使用以往數(shù)據(jù)挖掘算法直接對大數(shù)據(jù)集進行處理時，由于數(shù)據(jù)規(guī)模龐大，數(shù)據(jù)容易過度擬合。對失衡數(shù)據(jù)集進行分類時，基于假設(shè)類別平衡的分類算法忽略了本應(yīng)被關(guān)注的少數(shù)類別，直接影響分類結(jié)果。所以在處理大規(guī)模數(shù)據(jù)集時一定要考慮到數(shù)據(jù)的不平衡性。
　　本文先分別介紹了大數(shù)據(jù)和數(shù)據(jù)不平衡的概念，介紹了當(dāng)前國內(nèi)外學(xué)者對不平衡數(shù)據(jù)集和大規(guī)模數(shù)據(jù)處理問題的研究情況以及處理失衡的大規(guī)模數(shù)據(jù)集分

3、類問題的分類方法，深入了解適合處理大數(shù)據(jù)的并行編程模型MapReduce。然后介紹了常用特征選擇方法并深入了解決策樹分類方法，提出了基于k均值和人工蜂群聚合算法的決策樹分類方法，并應(yīng)用在肝功能診斷上，實驗表明通過聚合算法進行特征篩選可以獲得更好的分類效果。針對大規(guī)模失衡數(shù)據(jù)集分類問題，本文提出了基于MapReduce的并行選擇采樣算法，使用MapReduce對并行選擇采樣算法和決策樹分類算法并行化，以二級并行方式來解決大規(guī)模數(shù)據(jù)集分類的