EM算法及其改進(jìn)在混合模型參數(shù)估計(jì)中的應(yīng)用研究.pdf

1、有限混合模型是分析復(fù)雜現(xiàn)象的一個(gè)靈活而強(qiáng)有力的建模工具，它提供了用簡(jiǎn)單結(jié)構(gòu)模擬復(fù)雜密度的一個(gè)有效方法，給出了模擬同質(zhì)性和異質(zhì)性的一個(gè)自然框架和半?yún)?shù)結(jié)構(gòu)。 EM算法為有限混合模型的極大似然估計(jì)提供了一個(gè)標(biāo)準(zhǔn)框架。本文簡(jiǎn)單推導(dǎo)了有限混合高斯分布的EM算法，并針對(duì)其收斂速度慢的缺點(diǎn)設(shè)計(jì)了一種有效選取參數(shù)初始值的方法，數(shù)值實(shí)驗(yàn)表明，該方法有助于EM算法以較快的速度在參數(shù)真值附近收斂。 EM算法思想簡(jiǎn)單，易于實(shí)現(xiàn)。但是，EM算法

2、往往獲得的只是一個(gè)局部最優(yōu)解，這是因?yàn)樗举|(zhì)上是一個(gè)迭代算法，只能保證達(dá)到局部最優(yōu)，而遺傳算法具有強(qiáng)大的全局搜索能力，因此，本文將采用遺傳算法來改進(jìn)EM算法，提出一種以遺傳算法為主、結(jié)合EM迭代算法的混合算法(即GAEM算法)。在前面的研究中，我們總是提前定義一個(gè)混合模型的分支數(shù)，但在大多實(shí)際應(yīng)用中，最優(yōu)分支數(shù)是未知的，所以為混合模型選擇一個(gè)最優(yōu)分支數(shù)是一個(gè)相當(dāng)重要又困難的問題。本文將使用GAEM算法來學(xué)習(xí)未知支數(shù)的多元高斯混合模型，算

3、法中使用MDL準(zhǔn)則作為選擇最優(yōu)分支數(shù)的信息準(zhǔn)則。采用EM算法和遺傳算法混合編程的目的是為了更好地利用兩種算法各自的優(yōu)點(diǎn)，基于隨機(jī)搜索優(yōu)化技術(shù)遺傳算法的種群極大地拓展了EM算法的搜索空間，有效地降低了基本EM算法對(duì)初始值的依賴程度，改善了其收斂到局部最大值的缺陷。數(shù)值實(shí)驗(yàn)也表明，GAEM算法不僅繼承了EM算法的單調(diào)收斂性，對(duì)模型參數(shù)初始值也更加穩(wěn)?。?)在同樣的迭代終止條件下，GAEM算法能夠得到比EM算法更好的MDL值。2)GAEM算法