基于聯(lián)合稀疏和局部線性的極限學(xué)習(xí)機(jī)及應(yīng)用.pdf

1、隨著人工智能的深入發(fā)展，機(jī)器學(xué)習(xí)已逐漸成為人工智能研究的核心內(nèi)容之一，它的應(yīng)用已遍及人工智能的各個分支，如計算機(jī)視覺、模式識別、智能機(jī)器人、專家系統(tǒng)、自動推理、自然語言理解等領(lǐng)域。作為機(jī)器學(xué)習(xí)主要研究內(nèi)容的人工神經(jīng)網(wǎng)絡(luò)能夠模擬生物神經(jīng)網(wǎng)絡(luò)的運行模式，可以出色地執(zhí)行學(xué)習(xí)、分類、回歸等任務(wù)，受到了廣泛的關(guān)注和研究。本文重點研究其中的一類人工神經(jīng)網(wǎng)絡(luò)----極限學(xué)習(xí)機(jī)(ELM)。極限學(xué)習(xí)機(jī)是一種基于隨機(jī)隱節(jié)點(hidden units或hid

2、den nodes)的神經(jīng)網(wǎng)絡(luò)，與傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)相比，一是它的訓(xùn)練成本極低；二是它可以獲得全局最優(yōu)解；三是它設(shè)計靈活簡單易于非機(jī)器學(xué)習(xí)領(lǐng)域?qū)W者實現(xiàn)；四是它可以在同一個框架下解決壓縮、特征提取、聚類、回歸、分類等多個機(jī)器學(xué)習(xí)領(lǐng)域的研究問題。但是，極限學(xué)習(xí)機(jī)也存在自身的弱點，比如隱層規(guī)模過大會影響算法測試效率，對于一些實際問題分類、回歸精度不高等進(jìn)行了研究。
　　本研究主要內(nèi)容包括：⑴提出了一種基于聯(lián)合稀疏正則的半監(jiān)督剪枝極限學(xué)習(xí)機(jī)

3、（S3ELM）的分類算法，該算法目的是在保證分類精度的前提下，精簡極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)規(guī)模，加快算法的測試速度，與以往剪枝算法不同，該算法基于-范數(shù)正則項，因此是非貪婪式的剪枝算法，而半監(jiān)督正則項的加入也使算法在只有較少標(biāo)簽信息的條件下獲得更為出色的分類效果。我們在人工數(shù)據(jù)集、UCI數(shù)據(jù)集、人臉數(shù)據(jù)集上的數(shù)值實驗表明，該算法可以很好地優(yōu)化極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)結(jié)構(gòu)、精簡網(wǎng)絡(luò)規(guī)模、在保證分類效果的同時大大減少測試時間。⑵給出了分片線性可分的數(shù)據(jù)集在經(jīng)過

4、一個合適的線性投影之后仍然可以保持線性可分的理論性質(zhì)，并在此基礎(chǔ)之上提出了一個線性維數(shù)約減算法。受此理論的啟發(fā)，提出了基于局部線性可分性的極限學(xué)習(xí)機(jī)（LLS-ELM）算法，與傳統(tǒng)極限學(xué)習(xí)機(jī)隨機(jī)隱節(jié)點獨立于數(shù)據(jù)的設(shè)計不同，該算法依賴于訓(xùn)練數(shù)據(jù)的分布，但同時保持了極限學(xué)習(xí)機(jī)隨機(jī)隱節(jié)點的特點，由于隨機(jī)隱節(jié)點與數(shù)據(jù)相關(guān)，算法可以在只有很少隨機(jī)隱節(jié)點的條件下提供理想的分類精度，這從側(cè)面達(dá)到了快速簡化極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)結(jié)構(gòu)的目的。本論文選擇了一個人工數(shù)

5、據(jù)集和六個 UCI數(shù)據(jù)集對該算法加以測試，實驗結(jié)果充分驗證了該算法具有提高算法精度、提升算法測試效率并保持極限學(xué)習(xí)機(jī)學(xué)習(xí)速度快的優(yōu)點。⑶提出了一種基于極限學(xué)習(xí)機(jī)的局部標(biāo)簽近似聚類算法(LLAELM)，該算法利用極限學(xué)習(xí)機(jī)替代了局部學(xué)習(xí)聚類算法中的核嶺回歸分類器，由于極限學(xué)習(xí)機(jī)具有參數(shù)少、判決函數(shù)簡單、高準(zhǔn)確度等特點，使該算法可以在更少參數(shù)條件下，獲得與基于核嶺回歸的局部學(xué)習(xí)聚類算法相當(dāng)甚至更好的聚類效果。我們使用了大量的數(shù)據(jù)集測試該算法

6、，數(shù)值實驗結(jié)果表明，利用該算法進(jìn)行降維后的大部分?jǐn)?shù)據(jù)都可以獲得更優(yōu)的聚類效果。⑷將極限學(xué)習(xí)機(jī)用于高光譜圖像分類，并提出了一種基于空間近鄰的半監(jiān)督極限學(xué)習(xí)機(jī)算法(SNS-ELM)，該算法針對高光譜圖像空間相鄰的像素通常屬于相同的類別這一屬性，采用圖拉普拉斯正則的方式開發(fā)空間鄰域信息，并提出了相應(yīng)的數(shù)學(xué)模型，為了能夠求解這一模型，我們給出了一個基于交替方向迭代的算法，并推導(dǎo)了兩個方向的迭代公式，該算法可以非常直觀地將有標(biāo)簽數(shù)據(jù)的信息向無標(biāo)簽