分類問題中的新類識(shí)別與分類器更新方法研究.pdf

1、多年來隨著分類理論的深入研究，各種分類應(yīng)用諸如光學(xué)字符識(shí)別、語(yǔ)音識(shí)別、文本及圖像分類等也都在逐步開展，并取得了很多很好的成果。分類理論在這些問題上的成功應(yīng)用，鼓舞人們把分類廣泛地用于諸如客戶資信評(píng)估、網(wǎng)絡(luò)入侵檢測(cè)、垃圾郵件檢測(cè)等在線分類系統(tǒng)。隨著分類理論的廣泛應(yīng)用，分類研究面臨一些新的問題，其中較嚴(yán)重的一個(gè)就是“訓(xùn)練數(shù)據(jù)集與待分類數(shù)據(jù)集獨(dú)立同分布”的假設(shè)在很多應(yīng)用中得不到滿足。在客戶資信評(píng)估、網(wǎng)絡(luò)入侵檢測(cè)、垃圾郵件檢測(cè)等應(yīng)用中，很可能會(huì)

2、隨著系統(tǒng)的運(yùn)行而不斷出現(xiàn)新的類別。當(dāng)新類別出現(xiàn)時(shí)，原有的分類系統(tǒng)便因?yàn)閿?shù)據(jù)分布發(fā)生的顯著變化而失效，由此帶來的分類錯(cuò)誤往往會(huì)導(dǎo)致很嚴(yán)重的損失。 當(dāng)待分類數(shù)據(jù)中出現(xiàn)客觀新類時(shí)，傳統(tǒng)分類器無法應(yīng)對(duì)。針對(duì)這個(gè)問題，本文提出了從待分類數(shù)據(jù)中識(shí)別新類，并在之后對(duì)分類器進(jìn)行自動(dòng)更新的自適應(yīng)分類方法。依照這個(gè)思路，本文開展了三方面工作，并得出以下成果。 1)針對(duì)待分類數(shù)據(jù)中出現(xiàn)的客觀新類，本文提出使用類別描述進(jìn)行新類識(shí)別的方法，并分別

3、給出基于邊界和基于概率密度函數(shù)兩種方式來實(shí)現(xiàn)，其中，邊界方式使用支持向量數(shù)據(jù)描述來實(shí)現(xiàn)，而概率密度方式使用高斯混合模型來實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明識(shí)別準(zhǔn)確率受數(shù)據(jù)分布和距離尺度選擇的影響很大，兩種方法在UCI數(shù)據(jù)集的4個(gè)數(shù)據(jù)集上的平均識(shí)別準(zhǔn)確率分別是44.249％和38.358％。 2)對(duì)使用邊界描述方式進(jìn)行新類識(shí)別的實(shí)驗(yàn)結(jié)果進(jìn)行分析發(fā)現(xiàn)，識(shí)別率過低的原因在于樣本間的距離不能很好反映樣本間的相似程度，針對(duì)該問題本文提出尺度變換的映射思想

4、，引入尺度學(xué)習(xí)方法，從訓(xùn)練樣本中學(xué)習(xí)適合于當(dāng)前數(shù)據(jù)集的尺度，使得相似樣本距離較近，而不相似樣本距離較遠(yuǎn)。在UCI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，加入尺度學(xué)習(xí)后，基于邊界的新類識(shí)別的平均準(zhǔn)確率從44.249％提高至68.329％。 3)針對(duì)新類及其代表樣本被識(shí)別出后如何更新現(xiàn)有分類器的問題，本文提出可繼承數(shù)據(jù)挖掘的思想，根據(jù)兩次相鄰學(xué)習(xí)的相似性和知識(shí)變化的漸進(jìn)性特點(diǎn)，提出可供分類器更新使用的中間計(jì)算，并基于此提出并實(shí)現(xiàn)了類別增量的決策樹學(xué)