基于層次貝葉斯自適應(yīng)稀疏的高斯混合模型.pdf

1、高斯混合模型(Gaussian Mixture Model，GMM)因其較好的靈活性、模型簡(jiǎn)易型和理論成熟性而在統(tǒng)計(jì)學(xué)中廣泛使用，且在諸多領(lǐng)域中，如圖像處理、計(jì)算機(jī)視覺、數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)等，獲得良好性能。然而，一個(gè)重要問(wèn)題是:面對(duì)來(lái)源于高維空間，如數(shù)千維，數(shù)據(jù)時(shí)，GMM數(shù)百萬(wàn)維協(xié)方差矩陣估計(jì)將是一個(gè)極大挑戰(zhàn)。究其原因在于，我們需要同等數(shù)量的樣本進(jìn)行參數(shù)估計(jì)，而在諸多實(shí)際情形中，樣本數(shù)量遠(yuǎn)不足于待估計(jì)參數(shù)數(shù)量，從而產(chǎn)生“過(guò)擬合”現(xiàn)象。近

2、年來(lái)，得益于LASSO變量選擇和稀疏回歸模型的提出及迅猛發(fā)展，一系列有效方法關(guān)注于如何對(duì)高維參數(shù)空間施加稀疏約束，從而挖掘出其內(nèi)蘊(yùn)的稀疏結(jié)構(gòu)。具體到高斯圖模型(Gaussian Graphical Model，GGM)，一類方法由分析協(xié)方差矩陣結(jié)構(gòu)延展至精度矩陣（逆協(xié)方差矩陣）結(jié)構(gòu);另一類方法則是由優(yōu)化一階問(wèn)題延伸至二階問(wèn)題。在眾多方法中，最典型最重要的當(dāng)屬GLASSO(Graphical LASSO)。
　　在本論文中，針對(duì)GG

3、M描述分布能力有限、GLASSO參數(shù)估計(jì)有偏，以及需要超參數(shù)調(diào)節(jié)等缺陷，我們從結(jié)構(gòu)化學(xué)習(xí)角度提出一種十分有效的層次貝葉斯自適應(yīng)稀疏高斯混合模型(Adaptive Sparsity GMM，ASGMM)。具體地，考慮到判別式L1范數(shù)等價(jià)于生成式Laplace分布—通過(guò)兩層貝葉斯描述，我們?cè)贕MM中注入Jeffrey非信息先驗(yàn)獲得兩層貝葉斯自適應(yīng)稀疏先驗(yàn)。該先驗(yàn)作用于精度矩陣，在挖掘其稀疏性同時(shí)大大減少樣本數(shù)量。更重要地，該先驗(yàn)不需要任何超

4、參數(shù)調(diào)節(jié)—施加的非信息先驗(yàn)“讓數(shù)據(jù)自身說(shuō)話”，且無(wú)偏估計(jì)的稀疏精度矩陣能自適應(yīng)于數(shù)據(jù)。具體到算法細(xì)節(jié)，ASGMM方法由三個(gè)步驟組成:首先，我們通過(guò)嵌入基于Jeffery非信息化超先驗(yàn)的層次貝葉斯模型來(lái)自適應(yīng)估計(jì)GMM稀疏精度矩陣;其次，我們對(duì)GMM精度矩陣進(jìn)行Cholesky分解，用以保證其正定性;最后，我們針對(duì)ASGMM目標(biāo)函數(shù)構(gòu)造合適的Q函數(shù)，進(jìn)而利用期望最大化框架求解出GMM精度矩陣元素值。
　　在合成數(shù)據(jù)集上，一系列實(shí)驗(yàn)結(jié)