最小最大模塊化分類器研究.pdf

1、為了充分利用并行分布式計(jì)算資源解決大規(guī)?，F(xiàn)實(shí)世界問題，并行處理技術(shù)和模塊化結(jié)構(gòu)已經(jīng)被廣泛地引入了模式識別領(lǐng)域中的分類器設(shè)計(jì)。本文研究了一種基于訓(xùn)練集劃分的問題分解方法和分類器組合過程，即最小最大模塊化(M3)分類器。 我們試圖回答這樣兩個(gè)問題，一個(gè)是如何進(jìn)行有效的問題分解和分類結(jié)果組合，另一個(gè)是如何獲得更好的分類效果。為此我們研究了兩個(gè)相關(guān)的過程，一個(gè)是多類問題到二類問題的分解和對應(yīng)的組合過程。一個(gè)是將二類問題進(jìn)一步分解為更小規(guī)

2、模的二類問題。本文的主要貢獻(xiàn)在以下幾個(gè)方面。 首次將模塊化過程引入k-NN算法，提出了M3-k-NN算法，拓寬了分類器組合算法的應(yīng)用領(lǐng)域。大規(guī)模文本分類的實(shí)驗(yàn)結(jié)果表明了這種處理的有效性。 對于二類問題的M3分解算法，針對測試過程，我們提出了一種對稱選擇算法，能夠?qū)y試中所調(diào)用的二類分類器的數(shù)量從二次復(fù)雜度降到線性復(fù)雜度。從而大大改善了分類器的測試性能。 對于二類問題分解中的訓(xùn)練集劃分，我們提出了四種簡單的劃分策超

3、平面切割、K均值算法、逆向K均值和擴(kuò)散抽取過程。實(shí)驗(yàn)表明，我們提出的劃分策略都可以在一定程度上保證劃分模塊增多時(shí)分類精度的穩(wěn)定性。 對于分解的二類問題，在使用一種簡化的對稱選擇算法的基礎(chǔ)上，我們提出了一種自重組學(xué)習(xí)算法，能夠在并行或者模塊化處理模式下同步完成訓(xùn)練集較為優(yōu)化的劃分和訓(xùn)練過程。該方法的任務(wù)分解策略繼承了傳統(tǒng)的最小最大模塊化分解的彈性，易于實(shí)現(xiàn)靈活分解和平衡化的學(xué)習(xí)。同時(shí)也能有效改善劃分效果，穩(wěn)步提升分類性能。

4、 對于多類問題，我們考察了“一對一”多類問題分解模式下的分類器組合，提出了一種一般意義下的組合策略，并證明，傳統(tǒng)的M3和最多類獲勝(循環(huán)賽規(guī)則學(xué)習(xí)，R3)組合為這種一般過程的兩個(gè)極端情形。針對這種一般化過程，我們提出了一種一致的模塊選擇算法，能夠顯著提高測試效率。此外，針對M3多類組合的測試，我們提出了三種模塊選擇算法，并證明，這些選擇算法能夠?qū)y試效率由原來的二次復(fù)雜度，降低到線性復(fù)雜度。此外，我們證明，簡化的二叉樹選擇算法和DAG組