基于監(jiān)督聚類的極限學(xué)習(xí)機(jī)的增量學(xué)習(xí)算法研究.pdf

1、傳統(tǒng)的學(xué)習(xí)算法都是批量學(xué)習(xí)算法，即假設(shè)一次性獲得所有樣本，或者獲得有代表性的樣本，然后用其對分類器進(jìn)行訓(xùn)練。但在實(shí)際的生活中，要一次性獲得所有樣本，或者獲得有代表性的樣本是不現(xiàn)實(shí)的。針對這種情況，傳統(tǒng)的批量學(xué)習(xí)算法，面對新來樣本時，總是將新增樣本和之前所有已經(jīng)學(xué)習(xí)過的樣本進(jìn)行再次學(xué)習(xí)，但這樣會耗費(fèi)很多時間，且對內(nèi)存的要求也比較高。增量學(xué)習(xí)，能夠在保存以前已經(jīng)學(xué)習(xí)到的―舊知識‖的基礎(chǔ)上，實(shí)現(xiàn)對樣本的增量學(xué)習(xí)。僅對新樣本進(jìn)行增量學(xué)習(xí)，加快了

2、算法的學(xué)習(xí)速度，也減少了算法對內(nèi)存的需求，較好的解決了上述問題。國內(nèi)外對增量學(xué)習(xí)已經(jīng)進(jìn)行了廣泛的研究，主要有基于支持向量機(jī)的增量學(xué)習(xí)算法、基于貝葉斯網(wǎng)絡(luò)的增量學(xué)習(xí)算法、基于神經(jīng)網(wǎng)絡(luò)的增量學(xué)習(xí)算法。極限學(xué)習(xí)機(jī)是單隱層前饋神經(jīng)網(wǎng)絡(luò)的一種典型學(xué)習(xí)算法，具有學(xué)習(xí)速度快、擬合度高、泛化性能好、分類速度快、參數(shù)設(shè)置容易等優(yōu)點(diǎn)。
　　本文在極限學(xué)習(xí)機(jī)的基礎(chǔ)上，引入監(jiān)督聚類的概念，提出了一種新的增量學(xué)習(xí)算法--CW-ELM算法。論文中首先說明了監(jiān)

3、督聚類中，我們所擁有的重要先驗(yàn)知識--樣本的類別信息；然后闡述了傳統(tǒng)的、基于距離的聚類標(biāo)準(zhǔn)的缺點(diǎn)，從理論上說明了采用―樣本輸出‖是否接近作為新的聚類標(biāo)準(zhǔn)的合理性，在此基礎(chǔ)上提出了一種新的監(jiān)督聚類標(biāo)準(zhǔn)，即基于―樣本類別‖和―樣本輸出‖的監(jiān)督聚類準(zhǔn)則。將同一樣本類別的、―樣本輸出‖接近的樣本分為同一簇。在構(gòu)造極限學(xué)習(xí)機(jī)時，首先對樣本進(jìn)行聚類，并用一個矩陣去記錄每個簇的簇中心；在進(jìn)行增量學(xué)習(xí)時，我們只需將每個簇的簇中心和新來樣本進(jìn)行學(xué)習(xí)即可，