基于概率圖模型的變分貝葉斯方法研究.pdf

1、變分推理方法被廣泛用于評(píng)估概率圖模型的后驗(yàn)分布或分布對(duì)應(yīng)的期望，其基本思想是通過(guò)變分轉(zhuǎn)換將推理問(wèn)題轉(zhuǎn)化為一個(gè)變分優(yōu)化問(wèn)題，利用迭代方法以期望能夠高效的獲得一個(gè)近似解。然而，該方法存在著一個(gè)嚴(yán)重的局部最優(yōu)解問(wèn)題，算法的收斂效果取決于初始值的選擇，因此為了能夠?qū)崿F(xiàn)全局最優(yōu)解，算法應(yīng)當(dāng)盡可能廣泛的選擇初始值。
　　針對(duì)EM算法和VBEM算法全局收斂效率低的問(wèn)題，本文提出了相應(yīng)的改進(jìn)辦法，其研究?jī)?nèi)容主要包括以下三個(gè)方面：
　　(1)

2、針對(duì)傳統(tǒng)EM算法存在的局部最優(yōu)解問(wèn)題，引入非廣延統(tǒng)計(jì)力學(xué)的Tsallis熵替代傳統(tǒng)的香農(nóng)熵，提出一種TDAEM算法。該算法結(jié)合了退火算法和Tsallis熵的優(yōu)點(diǎn)，通過(guò)控制參數(shù)q，避開(kāi)局部最優(yōu)點(diǎn)，提高全局最優(yōu)收斂效率。
　　(2)針對(duì)VBEM存在嚴(yán)重的局部最優(yōu)解問(wèn)題，借鑒退火算法的思想，提出一種用來(lái)克服局部最優(yōu)解問(wèn)題的確定退火VBEM算法——DAVBEM，同時(shí)將其推廣到混合高斯模型中。該算法利用最大熵原理，導(dǎo)出帶有溫度參數(shù)的新變分后