EM算法及其加速.pdf

1、在人工智能,數(shù)理統(tǒng)計(jì),機(jī)器學(xué)習(xí),模式識(shí)別中有許多的應(yīng)用都要進(jìn)行模型的參數(shù)估計(jì),也就是要進(jìn)行極大似然估計(jì)(Maximum 1ikelihood estimation)或極大后驗(yàn)似然估計(jì)(Maximum-posterior-likelihood estimation).當(dāng)模型中的變量均可以直接觀察時(shí),極大似然估計(jì)或極大后驗(yàn)似然估計(jì)是顯然的.但是當(dāng)某些變量是隱藏的,這時(shí)進(jìn)行極大似然估計(jì)就比較復(fù)雜.存在潛在變量的情況下,對(duì)模型參數(shù)進(jìn)行估計(jì)的方法

2、有很多種,一種非常流行的極大似然估計(jì)方法是Expectation-Maximization算法,通常稱為EM算法.Dempster,Laird和Rubin(以下簡(jiǎn)稱DLR)(1977)定義了EM算法.EM算法的最大優(yōu)點(diǎn)是簡(jiǎn)單和穩(wěn)定.特別是,每一次迭代能保證觀察數(shù)據(jù)對(duì)數(shù)似然是單調(diào)不減的.另外,他們還定義了GEM算法,把EM算法視為GEM算法的特例.GEM算法在計(jì)算上更有效,且保持了對(duì)數(shù)似然單調(diào)不減的特性.EM算法作為一種參數(shù)估計(jì)方法通常用

3、于存在缺失數(shù)據(jù)的情況下,所謂的缺失數(shù)據(jù),可以有兩種解釋,一種情況是問題本身的確存在缺失變量,另一種情況是缺失變量并非真的存在,由于觀察數(shù)據(jù)對(duì)數(shù)似然的優(yōu)化比較復(fù)雜,而添加額外的變量(或稱為缺失變量)后的完全數(shù)據(jù)對(duì)數(shù)似然估計(jì)則比較簡(jiǎn)單.根據(jù)這種思想許多統(tǒng)計(jì)模型可以納入到EM算法的框架中來.在大多數(shù)的情況下,EM算法實(shí)質(zhì)上是一個(gè)優(yōu)化算法(optimization algorithm),并且能夠收斂到局部極值.但EM算法并非萬能的,其最大的缺點(diǎn)