面向大規(guī)模實值優(yōu)化問題的CMA-ES算法及其分制策略研究.pdf

1、實值優(yōu)化問題在工程和學術(shù)領域有廣泛的應用背景，許多問題最后都可以被定義成實值優(yōu)化問題來求解。隨著系統(tǒng)越來越復雜，需要優(yōu)化的參數(shù)越來越多，優(yōu)化問題解空間的維度越來越高，導致大規(guī)模優(yōu)化問題的出現(xiàn)。演化算法作為一種優(yōu)化問題通用求解器，具有啟發(fā)式算法的一系列優(yōu)良特性，包括對優(yōu)化問題的魯棒性、全局搜索能力強等，而且易實現(xiàn)、易并行，特別適合求解實值優(yōu)化問題。演化算法，已經(jīng)在實值優(yōu)化問題上表現(xiàn)出了良好的性能，并且，在近似優(yōu)化上，已經(jīng)有了理論保證。但是

2、，由于維度災難，演化算法在大規(guī)模優(yōu)化問題上的表現(xiàn)會快速下降。協(xié)作性協(xié)同演化框架是一種基于分制策略的演化框架，它將待求解問題分解成多個子問題，并在每個子問題上應用演化算法來求解，最后合并多個子問題的解，從而形成原問題的解?；趨f(xié)作性協(xié)同演化框架，多種演化算法已經(jīng)成功的從低維優(yōu)化問題拓展到了大規(guī)模優(yōu)化問題。協(xié)作性協(xié)同演化框架基于分制策略，所以問題的劃分方式對問題求解的效果產(chǎn)生非常大的影響。在實值優(yōu)化問題中，往往存在變量之間的相關性，不恰當?shù)?/p>

3、劃分方式將相關變量劃分到不同的子問題中，導致了子問題求解的耦合性，從而不能很好的解決原優(yōu)化問題。本論文有以下研究目的:
　　1.研究基于協(xié)同演化框架的演化算法在實值優(yōu)化問題上的分制策略;
　　2.研究基于協(xié)同演化框架的演化算法，用于求解大規(guī)模實值優(yōu)化問題;
　　3.將分制策略形式化定義為優(yōu)化問題，并開展應用研究。
　　根據(jù)以上研究目的，本論文以Covariance Matrix Adaptation Evolut

4、ion Strategy(CMA-ES)實值優(yōu)化算法和協(xié)作性協(xié)同演化框架為研究基礎，進行了問題分制策略的研究，并將問題分制策略應用于CMA-ES算法上，用于求解大規(guī)模實值優(yōu)化問題，最后解釋了問題分解定義的理論基礎，并將問題劃分拓展到一般聚類問題，在聚類問題上進行應用研究。本論文的主要工作和創(chuàng)新之處主要有以下幾點:
　　1.首先基于高斯分布，研究了CMA-ES實值優(yōu)化算法的問題分解策略，從控制高斯分布作為局部搜索算子的搜索力度的角度

5、，提出了兩種新的問題分解方法;
　　2.將提出的問題分制策略應用到CMA-ES算法上，基于協(xié)作性協(xié)同演化框架，提出了一種更加高效的CC-CMA-ES算法，并在大規(guī)模實值優(yōu)化問題上進行實驗研究，驗證了提出的問題分制策略和優(yōu)化算法在大規(guī)模實值優(yōu)化問題上的有效性;
　　3.從KL散度的角度，將基于高斯分布的問題分解定義成了一個離散優(yōu)化問題，解釋了兩種問題分解方法的理論基礎，并將基于高斯分布的問題分解所形成的離散優(yōu)化問題，拓展到一般

6、的聚類問題上，提出了一種新的聚類算法。
　　本論文通過對協(xié)同演化框架和CMA-ES算法的研究，提出了兩種新型的問題分解策略，并將問題分解策略應用于CMA-ES算法，提出一種基于協(xié)作性協(xié)同演化框架的CMA-ES算法，可以在高達1000維的大規(guī)模實值優(yōu)化問題上表現(xiàn)出良好的特性;然后，從KL散度的角度，理論解釋了兩種問題分解策略的出發(fā)點，并且將問題分解拓展成為一般形式的聚類問題，將聚類定義為一個離散優(yōu)化問題，在Iris數(shù)據(jù)集上進行了應用