選擇性集成學(xué)習(xí)研究與應(yīng)用.pdf

1、集成學(xué)習(xí)利用現(xiàn)有簡(jiǎn)單學(xué)習(xí)算法共同解決一個(gè)問(wèn)題，能夠顯著提高一個(gè)學(xué)習(xí)系統(tǒng)的泛化能力，對(duì)于未知的對(duì)象給出盡可能精確的估計(jì)。由于集成學(xué)習(xí)所具備的優(yōu)勢(shì)，近年來(lái)對(duì)其理論和算法的研究成為機(jī)器學(xué)習(xí)領(lǐng)域的熱點(diǎn)之一。然而，為了獲得滿意的精度，集成大量的基分類器需要大量的存儲(chǔ)空間并且使得預(yù)測(cè)速度明顯下降，同時(shí)由于集成了大量冗余基分類器，影響了學(xué)習(xí)系統(tǒng)整體的泛化性。2002年，周志華等人研究首先證實(shí)，并非所有基分類器參與集成的效果是最好，并且提出了“選擇性集

2、成”的概念。選擇性集成學(xué)習(xí)是在已生成的多個(gè)基分類器的基礎(chǔ)上，基于某種選擇策略只從其中選擇一部分用于構(gòu)建集成分類器。本文在深入學(xué)習(xí)選擇性集成研究以及與其相關(guān)理論的基礎(chǔ)上，從混合模型方面進(jìn)行了相應(yīng)研究，主要完成以下工作:
　　(1)本文提出了將基于聚類的集成修剪和動(dòng)態(tài)選擇與循環(huán)集成框架相互結(jié)合的混合模型。首先基于K-均值聚類算法的集成修剪算法剔除冗余的基分類器。然后，為了避免使用枚舉法并且能夠獲得更好的集成性能，通過(guò)改進(jìn)動(dòng)態(tài)選擇與循環(huán)

3、集成框架，利用順序選擇策略對(duì)處理過(guò)的候選分類器集合進(jìn)行集成學(xué)習(xí)。在多組實(shí)際數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證該模型處理二分類問(wèn)題的有效性。
　　(2)本文將混合模型應(yīng)用于音樂(lè)流派分類，考慮到音樂(lè)分類屬于多分類問(wèn)題，為了提高樂(lè)曲的識(shí)別精度，利用交叉驗(yàn)證對(duì)基分類器的參數(shù)進(jìn)行初始化。實(shí)驗(yàn)表明混合模型適合處理音樂(lè)流派分類問(wèn)題，并且通過(guò)交叉驗(yàn)證優(yōu)化參數(shù)進(jìn)一步提高性能。
　　(3)通過(guò)問(wèn)題轉(zhuǎn)化方法衍生出應(yīng)用于多標(biāo)記分類的混合模型。在多標(biāo)記數(shù)據(jù)集