集成分類器模型的研究.pdf

1、集成學(xué)習(xí)是近年來機(jī)器學(xué)習(xí)研究中發(fā)展迅速的一個(gè)分支。與學(xué)習(xí)算法直接面對(duì)樣本數(shù)據(jù)不同的是，它專注于維護(hù)—套建立在各種分類器算法之上的框架。通過將原問題分解，并學(xué)習(xí)得到多個(gè)分類器。然后考察這些局部區(qū)域的關(guān)系，運(yùn)用特殊的組合方法將多個(gè)概念融合一體。問題分解的作用主要體現(xiàn)在以下幾個(gè)方面：首先，隨著面對(duì)問題的樣本數(shù)不斷增長，單個(gè)分類器算法越來越顯得力不從心。甚至空問和時(shí)問復(fù)雜度超出了機(jī)器的最大處理能力。而將一個(gè)大問題化解為多個(gè)小問題來學(xué)習(xí)不失為一種

2、解決途徑：其次，單獨(dú)分類器算法在設(shè)計(jì)時(shí)往往考慮了一種假設(shè)，當(dāng)問題滿足假設(shè)時(shí)分類器的能力會(huì)得到充分表現(xiàn)。但在復(fù)雜情況下，只從一個(gè)角度考慮問題有失妥當(dāng)。我們可以從多個(gè)角度把握整體概念；另外，真實(shí)數(shù)據(jù)中是含有噪聲的。若未加區(qū)別地對(duì)待會(huì)造成模型的過擬合。我們需要一種機(jī)制可以將噪聲強(qiáng)烈的部分剔除，以此得到更恰當(dāng)?shù)哪Ｐ?。集成學(xué)習(xí)在多類問題是一種較為流行的解決方法。主要是將樣本數(shù)據(jù)按照類之間的界面進(jìn)行一對(duì)一或一對(duì)多分解，以此轉(zhuǎn)化為二類問題，然后運(yùn)用投

3、票法進(jìn)行婁別標(biāo)號(hào)的判斷。特別在概率模型中，分類器之間的關(guān)系可以被更精確地描述，如使用概率分布之間的KL距離來衡量。但并不是所有的分類器都能保證一個(gè)概率輸出的形式，為了在不改變分類器算法的前提下，我們采用sigmod函數(shù)擬合的辦法來近似處理。最小最大模塊化分類模型已經(jīng)被證明是在大規(guī)模數(shù)據(jù)集和不平衡問題中一種有效的架構(gòu)。與針對(duì)多類問題的集合模型相比它進(jìn)一步將一個(gè)較難學(xué)習(xí)的二類問題化解為多個(gè)相對(duì)簡(jiǎn)單的二類子問題。然后運(yùn)用最小化和最大化準(zhǔn)則將局

4、部信息還原成原始問題的解。在過去的研究中，我們發(fā)現(xiàn)在樣本集上按照某種先驗(yàn)知識(shí)的劃分，還原后的模型將會(huì)擁有更強(qiáng)的分類能力。但對(duì)整合階段的準(zhǔn)則研究仍然較少。本文運(yùn)用概率論的知識(shí)，對(duì)分解與整合過程提出了一個(gè)理論上的解釋。當(dāng)樣本集由多個(gè)任意概率分布函數(shù)生成，雖然整體分布難以被分類器所學(xué)習(xí)，但通過樣本的劃分，局部的分布就變得容易被學(xué)習(xí)。在貝葉斯決策的框架下，我們可以從概率上得出最優(yōu)的準(zhǔn)則。新的公式表明，最小化和最大化準(zhǔn)則是分類器在O-1輸出時(shí)的等