基于圖拉普拉斯的稀疏貝葉斯分類算法研究.pdf

1、稀疏貝葉斯作為一種主流的機(jī)器學(xué)習(xí)算法，它能夠充分利用數(shù)據(jù)的先驗(yàn)信息，并結(jié)合已知的樣本集，建立合理的數(shù)學(xué)模型，在訓(xùn)練的結(jié)果中擁有良好稀疏性并且可以得到概率性輸出，已經(jīng)成為機(jī)器學(xué)習(xí)研究領(lǐng)域中的熱點(diǎn)，受到越來(lái)越多的研究人員關(guān)注。然而，對(duì)于流形數(shù)據(jù)集，目前的這些稀疏貝葉斯算法，例如相關(guān)向量機(jī)、概率分類向量機(jī)，因?yàn)楹雎粤藬?shù)據(jù)集內(nèi)部具有的特殊結(jié)構(gòu)信息，輸出的模型不能很好的表達(dá)真實(shí)數(shù)據(jù)，導(dǎo)致模型過(guò)于復(fù)雜，分類性能較低。本文基于現(xiàn)有的稀疏貝葉斯算法，結(jié)

2、合流形正則化框架，提出一種能夠充分利用數(shù)據(jù)內(nèi)部流形信息的稀疏貝葉斯算法:基于圖拉普拉斯的稀疏貝葉斯分類算法。本算法通過(guò)在稀疏貝葉斯模型權(quán)值的先驗(yàn)分布上引入稀疏流形先驗(yàn)，把數(shù)據(jù)集自身的流形結(jié)構(gòu)信息作為先驗(yàn)知識(shí)利用起來(lái)，以訓(xùn)練出更符合數(shù)據(jù)分布的模型，提高了稀疏貝葉斯算法的分類性能。在本文中，我們從理論上分析了此模型，驗(yàn)證了算法分類的準(zhǔn)確率。隨后，在不同數(shù)據(jù)集上進(jìn)行了多組對(duì)比實(shí)驗(yàn)，結(jié)果顯示本文提出的算法不但在具有流形的數(shù)據(jù)集上取得了理想的分類

3、性能，在普通的數(shù)據(jù)集上也有良好的效果。
　　本文的主要工作總結(jié)如下:
　　(1)本文基于傳統(tǒng)的稀疏貝葉斯和流形正則化框架，提出的算法定義了一個(gè)流形先驗(yàn)，把數(shù)據(jù)的流形信息融入到了模型的先驗(yàn)當(dāng)中，在訓(xùn)練過(guò)程中重復(fù)利用此信息，進(jìn)而約束分類函數(shù)，因此可以得到精確性高、泛化性強(qiáng)的分類函數(shù)。
　　(2)本文根據(jù)模型權(quán)值參數(shù)上的流形先驗(yàn)，通過(guò)拉普拉斯算法將參數(shù)的后驗(yàn)概率分布近似為高斯分布，然后使用迭代重加權(quán)最小二乘法求出分布的均值，

4、提出了基于圖拉普拉斯的稀疏貝葉斯分類算法，該算法具有良好的稀疏性，訓(xùn)練時(shí)間較短，收斂速度快，同時(shí)通過(guò)概率輸出能夠度量預(yù)測(cè)結(jié)果的不確定性。
　　(3)本文利用邊際似然函數(shù)能夠控制模型對(duì)樣本數(shù)據(jù)流形信息利用程度的超參數(shù)λ和超參數(shù)α進(jìn)行自動(dòng)優(yōu)化，因此本文算法參數(shù)少，簡(jiǎn)單高效。
　　(4)本文實(shí)驗(yàn)部分在人工數(shù)據(jù)集、標(biāo)準(zhǔn)數(shù)據(jù)集和流形數(shù)據(jù)集上進(jìn)行大量的實(shí)驗(yàn)，通過(guò)與傳統(tǒng)的監(jiān)督學(xué)習(xí)算法對(duì)比，驗(yàn)證了本文提出的算法具有良好的分類準(zhǔn)確性、較好的模