基于核函數(shù)的集成學習算法研究與應用.pdf

1、集成學習(Ensemble Leaming)是為某個問題訓練一組學習器，并將這些學習器聯(lián)合起來執(zhí)行一定預測任務的一種機器學習技術。由于該技術能夠顯著地提高學習系統(tǒng)的泛化能力，受到很多學者的極大關注，并且很快成為了機器學習研究中的一個熱點。集成學習技術已經廣泛的應用于生物認證、傳感器故障容錯、字符識別、輻射源識別、語言學、醫(yī)學、交通、管理學等各個領域。 集成學習旨在充分利用每個成員學習器的不同優(yōu)勢，提高整體的泛化性能。現(xiàn)在一般認為

2、，有效地產生泛化能力強、差異大的多個成員學習器，是集成學習算法的關鍵。傳統(tǒng)集成學習算法不能充分利用數(shù)據(jù)集和成員學習器的特點提高成員學習器的多樣性，主要表現(xiàn)在兩個方面：在對數(shù)據(jù)集進行采樣時，沒有充分利用局部空間的不同特性；在學習器的訓練過程中，沒有很好的利用過程信息。近年來一些學者將核函數(shù)應用到集成學習中，取得了良好的效果。本文的研究目標是將核函數(shù)充分地應用到集成學習中，解決傳統(tǒng)集成學習算法存在的這兩個問題，在保證單個學習器高性能的前提下

3、，實現(xiàn)成員學習器的多樣性。本文開展并完成了以下方面的工作： (1)簡要介紹了集成學習的起源和基本概念；介紹了集成學習中具有代表性的算法Boosting、Bagging和Stacking的基本思想和理論證明；介紹了當前集成學習中的新思想—選擇性集成學習；介紹了核函數(shù)的歷史、基本思想和理論基礎。 (2)提出了一種基于核函數(shù)分割數(shù)據(jù)集的分類器組合算法(Ensemble Classifiers Al—gorithm based

4、on Kernel Dataset Partition，KFMCE)。該算法利用基于核的模糊隸屬度將原始空間依據(jù)局部特征的不同進行分解，然后分別進行有針對性的訓練，獲得局部性能最優(yōu)的成員學習器，最后進行集成來提高整體的性能?；诤说哪：`屬度是對基于距離隸屬度的擴展，它在映射后的高維空間中求解樣本的隸屬度，消除了數(shù)據(jù)集在表征數(shù)據(jù)分布上的偏差。以機器學習Weka軟件為平臺在20個不同的UCI數(shù)據(jù)集上進行實驗，結果表明，該算法與AdaBoo

5、st和Bagging算法相比，具有更高的分類準確性和更好的泛化能力。 (3)提出了一種動態(tài)協(xié)作的聚類集成算法(Clusterer Ensemble Algorithm Based onDynamic Cooperation，DCCE)。該算法同時訓練多個基本聚類器，在訓練期間，令所有聚類器通過迭代過程中產生的中間信息進行動態(tài)協(xié)作調整，從而提高集成聚類器的泛化性能和計算效率。協(xié)作過程中，算法使用基于核函數(shù)的共識函數(shù)對多個聚類器的中