模式分類中若干基本問題的算法研究與應(yīng)用.pdf

1、模式分類是模式識(shí)別的基本研究方向，有著廣泛的研究和應(yīng)用背景。經(jīng)過幾十年的快速發(fā)展，模式分類已經(jīng)滲透到多個(gè)學(xué)科，在諸多領(lǐng)域取得了長(zhǎng)足的進(jìn)步。目前，雖然模式分類產(chǎn)出了豐碩的研究成果,并得到廣泛的實(shí)際生產(chǎn)應(yīng)用，但仍存在很多基本問題值得深入研究與探索。本文主要探討了分類算法設(shè)計(jì)、數(shù)據(jù)約簡(jiǎn)、增量學(xué)習(xí)、算法集成等方面的基本問題，提出了幾種新算法，并圍繞 UCI(University of California Irvine)數(shù)據(jù)集和實(shí)際應(yīng)用數(shù)據(jù)集進(jìn)

2、行了實(shí)驗(yàn)對(duì)比，相應(yīng)實(shí)驗(yàn)結(jié)果驗(yàn)證了所提算法的有效性。本研究主要內(nèi)容包括：
　?、艦榭朔鹘y(tǒng)KNN(K-Nearest Neighbor)算法忽略樣本分布影響、易受孤立樣本及噪音干擾且運(yùn)行代價(jià)大等缺陷，我們圍繞新分類算法設(shè)計(jì)、相似度度量準(zhǔn)則構(gòu)建展開研究，提出了兩種改進(jìn)方法。其一針對(duì)于KNN算法忽略樣本影響及運(yùn)行代價(jià)高的問題，提出了一種改進(jìn)的近鄰分類算法。所提算法首先采用類維方式進(jìn)行樣本存儲(chǔ)，打破了樣本的整體性，轉(zhuǎn)換了訓(xùn)練樣本存儲(chǔ)模式；

3、其次利用未標(biāo)識(shí)樣本的類維近鄰域，計(jì)算類維相似度進(jìn)而得到未標(biāo)識(shí)樣本的類別相似度；最后使用類別相似度完成分類判決。所提算法不僅提高了分類效率和各類樣本分布適應(yīng)性，而且具有同時(shí)處理連續(xù)及標(biāo)識(shí)型樣本分類的優(yōu)勢(shì)，擴(kuò)大了算法的應(yīng)用范圍。其二針對(duì)于傳統(tǒng)距離或相似度度量未考慮個(gè)體樣本對(duì)整體樣本集影響，我們探究了個(gè)體樣本及樣本集分布狀態(tài)的內(nèi)在關(guān)聯(lián)，提出了一種新親和相似度度量準(zhǔn)則，并構(gòu)建了基于新親和相似度的改進(jìn)KNN算法。首先以樣本對(duì)整體樣本集的緊密度和分

4、散度為關(guān)注點(diǎn)，提出了一種新的親和距離函數(shù)；進(jìn)而提出了親和相似度函數(shù)，并將其作為KNN算法的相似度度量函數(shù)。理論分析及仿真實(shí)驗(yàn)表明所提方法是一種有效的相似度策略，且改進(jìn)KNN算法與高效索引算法集成組合，可降低近鄰算法在大規(guī)模數(shù)據(jù)集的分類時(shí)間。
　?、茷榭朔﨏NN(Condensed Nearest Neighbor)算法選取原型易受樣本讀取序列、異常樣本等干擾，提出了兩種新的原型選擇算法。其一針對(duì)于CNN算法只關(guān)注近鄰樣本忽略其樣本

5、分布的弊端，我們考慮了近鄰局部均值和類全局信息與樣本分布的關(guān)系，將其納入到原型選擇中，提出了基于局部均值與類全局信息的近鄰原型選擇算法。所提算法既在原型選取過程中,充分利用了待學(xué)習(xí)樣本在原型集中k個(gè)同異類近鄰局部均值和類全局信息的知識(shí),又設(shè)定原型集更新策略實(shí)現(xiàn)了對(duì)原型集的動(dòng)態(tài)更新。其二為克服 CNN算法學(xué)習(xí)規(guī)則的內(nèi)在不足,借鑒最近特征線法思想,提出了一種自適應(yīng)邊界逼近的原型選擇算法。所提算法改進(jìn)了 CNN算法的同類近鄰吸收策略,保留了更

6、優(yōu)于當(dāng)前最近邊界原型的同類樣本，逐漸逼近類邊界區(qū)域；同時(shí)建立了原型更新準(zhǔn)則,并運(yùn)用該準(zhǔn)則實(shí)現(xiàn)了原型集的周期性動(dòng)態(tài)更新。仿真實(shí)驗(yàn)表明，所提兩種算法均能獲得較高質(zhì)量的原型集，較好克服讀取序列、異常樣本對(duì)原型選取的影響。
　?、轻槍?duì)于不同區(qū)域樣本的分類貢獻(xiàn)不同，提出了一種基于二叉近鄰樹和約簡(jiǎn)操作的原型生成算法。所提算法通過構(gòu)建任意樣本的二叉近鄰搜索樹快速定位樹節(jié)點(diǎn)分布位置，進(jìn)而區(qū)分類邊界、類中心及孤立等不同位置的樣本；接著通過特定的約簡(jiǎn)

7、操作進(jìn)行了高效地原型選擇或生成。仿真實(shí)驗(yàn)結(jié)果表明所提算法具有較好的魯棒性，獲取的原型集具有較高的代表價(jià)值，且可與其他算法集成應(yīng)用，進(jìn)一步減少冗余原型的數(shù)量。
　　⑷為實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的增量快速分類目標(biāo)，我們關(guān)注了以往原型生成算法所未關(guān)注的學(xué)習(xí)過程信息，提出了一種新的增量學(xué)習(xí)矢量量化算法。所提算法在單層學(xué)習(xí)矢量量化學(xué)習(xí)競(jìng)爭(zhēng)學(xué)習(xí)基礎(chǔ)上，融合了樣本密度和分類誤差率的鄰域思想，擴(kuò)充了原型為原型鄰域信息，通過競(jìng)爭(zhēng)學(xué)習(xí)策略實(shí)現(xiàn)代表點(diǎn)原型鄰域的增