一種基于小波變換特征提取的集成學(xué)習(xí)算法.pdf

1、國際權(quán)威T.G. Dietterich將集成學(xué)習(xí)列為機器學(xué)習(xí)四大研究方向之首。泛化能力是評價機器學(xué)習(xí)算法好壞的重要指標。集成學(xué)習(xí)通過某種策略組合分類算法，能夠有效地提高算法的泛化能力。創(chuàng)建泛化能力強、差異大的基分類器是集成學(xué)習(xí)算法成功的關(guān)鍵。小波變換作為一種有效的特征提取方法，因其在時域和頻域都具有良好的局部特性，近年來受到學(xué)者們的密切關(guān)注。
　　 設(shè)計出具有高泛化能力的集成學(xué)習(xí)算法，一直是集成學(xué)習(xí)研究的熱點問題之一。論文在分析

2、和學(xué)習(xí)經(jīng)典集成算法的基礎(chǔ)上，提出一種基于小波變換特征提取的集成學(xué)習(xí)算法，即Wavelet-Forests算法。該算法的主要思想是通過構(gòu)造具有差異性的基分類器，提高集成學(xué)習(xí)算法的泛化能力。
　　 在構(gòu)造基分類器時，Wavelet-Forests算法采用處理訓(xùn)練數(shù)據(jù)集和處理輸入特征相結(jié)合的方法，將特征集隨機劃分為多個特征子集，根據(jù)每個劃分的特征子集，選擇一個非空類子集對應(yīng)的數(shù)據(jù)子集，再對這些數(shù)據(jù)子集采用自助法生成新的數(shù)據(jù)子集。在新的

3、數(shù)據(jù)子集上實施小波變換，得到每個數(shù)據(jù)子集對應(yīng)的小波系數(shù)矩陣。整合小波系數(shù)矩陣，得到基分類器的訓(xùn)練數(shù)據(jù)集。在集成基分類器時，采用平均法計算每個類的權(quán)，返回具有最大權(quán)的類。
　　 為了驗證Wavelet-Forests算法的可行性和有效性，論文使用數(shù)據(jù)挖掘領(lǐng)域公認的WEKA平臺實現(xiàn)該算法。采用UCI數(shù)據(jù)庫提供的標準數(shù)據(jù)集，將Wavelet-Forests算法與單個分類器J48，以及Bagging、AdaBoost和Random Fo