Boosting方法在混合模型選擇中的應(yīng)用.pdf

1、在模式識別這個(gè)領(lǐng)域中,混合模型是統(tǒng)計(jì)模式識別最主要的模型之一.混合模型的估計(jì)方法有很多,其中研究最多并且為人們所熟知的是EM算法.然而局部優(yōu)化的EM算法可能會遇到一些問題,比如初始模型參數(shù)的選取,有時(shí)該算法還可能表示出不同的收斂速度,另外最困難就是模型階數(shù)(模型的成分個(gè)數(shù)和維數(shù))的確定.在混合模型中一個(gè)越來越重要的任務(wù)就是模型選擇問題,即選擇模型的成分個(gè)數(shù)和維數(shù).目前的研究方法有MCMC還有變分法等等,但是解決的效果都不是很好.該文主要

2、是利用Boosting算法的思想得出的一個(gè)估計(jì)混合模型的遞歸式算法.該算法可以相對精確地估計(jì)出混合模型中成分的個(gè)數(shù),同時(shí)還可以得到模型中參數(shù)的估計(jì).Boosting算法的主要思想是根據(jù)訓(xùn)練數(shù)據(jù)目前的權(quán)重調(diào)用某些基礎(chǔ)分類算法從而更新訓(xùn)練數(shù)據(jù)的權(quán)重,不斷這樣迭代,最終得到這些基礎(chǔ)分類器的加權(quán)組合.這個(gè)最終的分類器的效果明顯高于那些基礎(chǔ)的分類器的效果.最近許多專家把Boosting解釋為是一種尋找最小化損失函數(shù)的分類器組合的梯度下降算法.Ma

3、son等人在他們的一篇文章中提出在分類器空間中尋找與損失函數(shù)的負(fù)梯度內(nèi)積最大的分類器做為新的迭加的分類器這樣的思想.既然Boosting可以理解為一個(gè)熟悉的優(yōu)化問題,我們就可以把這一思想用到混合模型的建模中去,其中損失函數(shù)取為負(fù)對數(shù)似然.我們給出適當(dāng)?shù)耐Ｖ挂?guī)則就可以估計(jì)出一個(gè)模型的理想成分的個(gè)數(shù).在算法具體的執(zhí)行中我們將Bagging這樣的方法用到其中可以使我們的算法產(chǎn)生較為理想的停止規(guī)則.從而避免了的成分?jǐn)?shù)的選擇和其他方法存在的某些問