交叉樣例選擇研究.pdf

1、海量數(shù)據(jù)是數(shù)字時(shí)代明顯的特征，數(shù)據(jù)大規(guī)模增長(zhǎng)使得數(shù)據(jù)處理變得異常困難，樣例選擇是處理海量數(shù)據(jù)的主要方法之一。樣例選擇的目的是去除原始數(shù)據(jù)集中的冗余樣例和噪音樣例，從而得到一個(gè)能夠代表原數(shù)據(jù)集的小規(guī)模子集。傳統(tǒng)的樣例選擇算法大多是針對(duì)某一種分類器而設(shè)計(jì)的，因此其結(jié)果往往也只適用于這種類型的分類器。此外，隨著數(shù)據(jù)集規(guī)模的增長(zhǎng)，經(jīng)典的樣例選擇算法難于處理大規(guī)模數(shù)據(jù)集，高效率的樣例選擇算法，特別是針對(duì)大數(shù)據(jù)集的樣例選擇算法成為近幾年的研究熱點(diǎn)。

2、
　　本文針對(duì)較大數(shù)據(jù)集分類問(wèn)題，提出了能夠用于不同分類器的樣例選擇算法，該算法基于分治和交叉驗(yàn)證的思想進(jìn)行樣例選擇。具體地，首先將數(shù)據(jù)集分為若干不相交的子集，對(duì)于每一個(gè)數(shù)據(jù)集，用其他子集訓(xùn)練出的分類器組成委員會(huì)，對(duì)該子集進(jìn)行樣例選擇。針對(duì)輸出為后驗(yàn)概率的分類器使用K‐L散度度量樣例的重要性，針對(duì)其他分類器使用投票熵度量樣例的重要性。當(dāng)使用速度快的ELM分類器時(shí)，本文提出的算法能夠快速處理較大規(guī)模的數(shù)據(jù)集。為了驗(yàn)證本文算法的有效性