EM和HMM算法理論及其在圖像分割和場(chǎng)景分析中的應(yīng)用.pdf

1、本論文研究最大似然法估計(jì)的期望最大算法(EM-Expectation Maximization)和隱馬爾可夫模型(HMM-Hidden Markov Models)的理論及其在圖像分割和場(chǎng)景分析中的應(yīng)用。對(duì)EM算法和高斯混合分布模型(GMM-Gaussian Mixture Model)，HMM的理論及其在一些具體的領(lǐng)域的應(yīng)用進(jìn)行了深入的研究，其主要?jiǎng)?chuàng)新點(diǎn)如下：1、提出基于特征的EM算法。通常的EM算法是基于樣本的算法。本文提出

2、利用基于特征的EM算法而不是用基于樣本的EM算法來(lái)求解最大似然問(wèn)題，可以加速計(jì)算。針對(duì)標(biāo)準(zhǔn)EM算法進(jìn)行聚類運(yùn)算時(shí)以單個(gè)樣本點(diǎn)為對(duì)象的特點(diǎn)，本文根據(jù)樣本特征頻數(shù)，計(jì)算直方圖，在此基礎(chǔ)上提出了進(jìn)行特征聚類估計(jì)的快速EM算法。在有限混合分布中，采用基于特征的EM算法和基于樣本的EM算法從本質(zhì)上說(shuō)是等價(jià)的；但是就算法的速度而言，在一定條件下，前者相對(duì)于后者來(lái)說(shuō)要快得多。再加上其他措施，算法的效率更有明顯的提高。這在一定程度上彌補(bǔ)了E

3、M算法和最大似然法直接迭代法收斂速度慢的缺點(diǎn)。實(shí)驗(yàn)結(jié)果證明了該方法在速度上的優(yōu)越性。2、指出直接迭代法本質(zhì)上是廣義EM算法。文中的直接迭代法是指通常在無(wú)監(jiān)督學(xué)習(xí)中采用迭代法來(lái)求解有限混合分布參數(shù)的最大似然估計(jì)。在所有國(guó)內(nèi)外經(jīng)典的教材[83][10][8][141][55]中，直接迭代法被廣泛涉及，但它的收斂性一直未得到討論和驗(yàn)證，形成了一個(gè)空白，因此限制了它的使用。而直接迭代法與EM算法關(guān)系更是幾乎沒有提及。本文比較了在無(wú)監(jiān)督

4、學(xué)習(xí)中用最大似然法估計(jì)有限混合分布的未知參數(shù)情況下，通常采用迭代法求解最大似然估計(jì)與EM算法公式的相同與差別之后，利用EM算法的性質(zhì)來(lái)證明在這種情況下直接迭代法是一種廣義EM算法。此時(shí)直接迭代法具有EM算法的收斂特性和自動(dòng)滿足約束的特性，能夠自動(dòng)增大對(duì)數(shù)似然，在一定條件下保證收斂到一個(gè)局部最優(yōu)值。這對(duì)關(guān)于它的描述進(jìn)行了有效的補(bǔ)充。3、提出基于“漸近等同分割性”原理的熵先驗(yàn)為基礎(chǔ)的最小熵方法。最小熵方法[131]是近年來(lái)在研究

5、“交叉熵”基礎(chǔ)上提出來(lái)的新方法，但其中“熵先驗(yàn)”的說(shuō)明比較復(fù)雜。本文提出基于“漸近等同分割性[142]”(AEP-Asymptotic Equipartition Property)的原理說(shuō)明“熵先驗(yàn)”，使熵先驗(yàn)問(wèn)題更加明確。本文結(jié)合最小熵理論，引出一個(gè)在隱變量概率模型中同時(shí)學(xué)習(xí)模型的結(jié)構(gòu)和參數(shù)的新型方法-基于熵的最大后驗(yàn)估計(jì)(MAP-Maximum A Posteriori)。熵MAP估計(jì)將熵的和最小化，從各方面減小不確定性，

6、刪減多余的參數(shù)，得到參數(shù)趨于精確并較好地支持?jǐn)?shù)據(jù)結(jié)構(gòu)的模型。本文還發(fā)展了新型的HMM，用于解決每時(shí)間步具有可變長(zhǎng)度觀察矢量的問(wèn)題；采用熵MAP估計(jì)進(jìn)行訓(xùn)練，可以降低分布的冗余和除去噪聲，留下的隱狀態(tài)與圖像序列中實(shí)際物理過(guò)程高度相關(guān)。應(yīng)用于交通視頻的模式發(fā)現(xiàn)時(shí)，采用連續(xù)兩幀間光流表作為數(shù)據(jù)，通過(guò)新型的HMM結(jié)合基于熵的MAP估計(jì)學(xué)習(xí)景物活動(dòng)的模式，得到簡(jiǎn)潔的、可解釋的、可預(yù)測(cè)的模型。4、將EM收斂的過(guò)程進(jìn)行圖形解釋。EM算法包

7、含形成輔助函數(shù)的E步和使其最大化的M步的過(guò)程，通常是數(shù)學(xué)形式表示，缺乏直觀視覺形式。本文將EM收斂的過(guò)程進(jìn)行圖形解釋，生動(dòng)地顯示了EM算法的輔助函數(shù)保證迭代過(guò)程是一個(gè)對(duì)數(shù)似然函數(shù)單調(diào)增大的過(guò)程。圖形還表示了EM算法是獲得最大似然法估計(jì)解的可行方法。5、提出EM算法用于灰度圖像——車輛牌照和醫(yī)療圖像分析的實(shí)例。本文將EM算法用于灰度圖像的灰度和鄰域均值兩維特征空間的參數(shù)估計(jì)。文中成功地運(yùn)用EM算法的相關(guān)理論來(lái)完成車輛牌照、醫(yī)療

8、圖像的分割，并對(duì)算法做出改進(jìn)(直方圖擴(kuò)展、增加分類數(shù))，用于解決實(shí)際中碰到的問(wèn)題。我們的系統(tǒng)用基于特征的EM算法和GMM來(lái)求得圖像總體分布的近似，之后用統(tǒng)計(jì)模式識(shí)別的Bayes分類器進(jìn)行最優(yōu)分類，根據(jù)估計(jì)得到的圖像總體的分布密度函數(shù)，使用準(zhǔn)則函數(shù)把圖像中的各個(gè)像素分到目標(biāo)和背景兩個(gè)分量(類別)中。6、提出EM算法用于彩色圖像——醫(yī)學(xué)圖像分割的實(shí)例。本文提出三維彩色圖像的EM算法聚類分割方法用于醫(yī)學(xué)圖像的分割。在彩色圖像各顏色分

9、量(R，G，B)形成的三維直方圖上，用EM聚類方法估計(jì)三特征的分布參數(shù)。再根據(jù)估計(jì)的分布參數(shù)，計(jì)算各類的Bayes決策面，將像素點(diǎn)劃分到相應(yīng)的類別，從而提出了一個(gè)實(shí)用的最小錯(cuò)誤率意義上的彩色圖像最優(yōu)分割方法。該方法充分利用了像素的所有顏色分量的分布和相互關(guān)系，不受顏色空間的限制，可以滿足各類彩色圖像的分割要求。圖像的總體符合正態(tài)混合分布的模型也是十分合理的。7、強(qiáng)調(diào)最大似然估計(jì)在無(wú)監(jiān)督學(xué)習(xí)中的有效作用。許多實(shí)踐說(shuō)明用最大似然估

10、計(jì)(MLE-Maximum Likelihood Estimation)是十分有效的方法。本文指出目前有些很好的模式識(shí)別的專著[83][10][8][141][55][82][79]，但對(duì)EM算法和最大似然估計(jì)廣泛的可行性和有效性強(qiáng)調(diào)太少，而過(guò)多分析極少出現(xiàn)的不收斂點(diǎn)(實(shí)際上不影響計(jì)算)。例如專著[83][10][8][141][55]的無(wú)監(jiān)督學(xué)習(xí)的章節(jié)中，也沒有對(duì)最大似然法直接迭代收斂性分析和EM算法的應(yīng)用。書中[83][10

11、]采用了幾個(gè)例子來(lái)說(shuō)明最大似然法所不能解決的極個(gè)別的問(wèn)題，而對(duì)于最大似然法在解決無(wú)監(jiān)督學(xué)習(xí)問(wèn)題的優(yōu)勢(shì)方面，卻沒有進(jìn)行詳細(xì)的闡述。8、提出EM算法是解決無(wú)監(jiān)督學(xué)習(xí)問(wèn)題的核心。在無(wú)監(jiān)督學(xué)習(xí)中用迭代法求解最大似然估計(jì)，之前一直無(wú)法保證收斂，但采用EM算法卻已經(jīng)證明可以保證收斂。將樣本所屬的類別看作是丟失的特征，可以使無(wú)監(jiān)督學(xué)習(xí)問(wèn)題中的最大似然估計(jì)通過(guò)EM算法來(lái)解決。在所有國(guó)內(nèi)外經(jīng)典的教材[83][10][8][141][55][7

12、9]中，具有保證收斂特性的EM算法在解決無(wú)監(jiān)督學(xué)習(xí)情況下混合分布參數(shù)估計(jì)的強(qiáng)大作用經(jīng)常被忽視，沒有強(qiáng)調(diào)其解決無(wú)監(jiān)督學(xué)習(xí)下最大似然估計(jì)的功用。因?yàn)椴煌陚鋽?shù)據(jù)通常成為EM算法問(wèn)題的中心，而使得EM算法在無(wú)監(jiān)督學(xué)習(xí)中的作用常常被淡化。實(shí)際上，在說(shuō)明EM算法時(shí)，可以有兩種角度：對(duì)于嚴(yán)格的數(shù)學(xué)來(lái)說(shuō)，引入樣本為不完備數(shù)據(jù)，部分特征丟失，樣本所屬的類別被看作是丟失的特征，以及引入輔助函數(shù)來(lái)解釋求解過(guò)程等都是必要的。而對(duì)于工程應(yīng)用來(lái)說(shuō)EM只是

13、求解最大似然法估計(jì)的技巧。過(guò)分強(qiáng)調(diào)不完備數(shù)據(jù)或特征丟失，會(huì)模糊EM求解時(shí)數(shù)據(jù)的性質(zhì)和采用EM的目的。本文重提EM算法是解決無(wú)監(jiān)督學(xué)習(xí)問(wèn)題的核心，強(qiáng)調(diào)了它解決最大似然估計(jì)的作用以及保證收斂到局部最優(yōu)值的特點(diǎn)。關(guān)鍵詞 最大似然估計(jì)(MLE-Maximum Likelihood Estimation)，EM算法(期望最大-Expectation Maximization)，高斯混合分布模型(GMM-Gaussian Mixture M