基于Spark計算框架的MOEA-D算法研究.pdf

1、實踐證明，元啟發(fā)式已經(jīng)成為解決多目標問題(Multiobjective OptimizationProblems, MOPs)的有效手段。特別是進化算法的廣泛使用，使得大量的優(yōu)秀算法被設(shè)計出來，如NSGA-Ⅱ，SPEA2，PAES等等。多數(shù)多目標進化算法是基于帕累托占優(yōu)的概念。然而在MOP領(lǐng)域，另一行之有效的策略是基于分解的方法?；诜纸獾亩嗄繕诉M化算法(Multi-Objective Evolutionary Algorithm ba

2、sed on Decomposition，MOEA/D)就是典型之一。通過分解，MOEA/D可以利用現(xiàn)有的單目標優(yōu)化算法，使得單目標優(yōu)化的優(yōu)秀算法也能被充分利用。經(jīng)過改進，MOEA/D獲得了CEC2009多目標進化算法競賽冠軍，展示了它的優(yōu)越性。
　　大數(shù)據(jù)時代的來臨，對計算機的處理速度又提出了新的要求。為了針對海量數(shù)據(jù)提出的挑戰(zhàn)，多核芯片、多CPU、分布式系統(tǒng)已經(jīng)是當下的研究熱點。其中Spark在新一代大數(shù)據(jù)處理平臺中，得到最廣

3、泛的認可和支持。
　　Spark平臺現(xiàn)在已經(jīng)集成了機器學習領(lǐng)域的眾多算法，但是在優(yōu)化算法領(lǐng)域，特別是多目標進化算法還未集成。本文著重對MOEA/D進行研究，并提出其在Spark計算框架下的實現(xiàn)方案，通過對比實驗，驗證各種實現(xiàn)方案的優(yōu)劣。在MOEA/D中，權(quán)向量是定義子問題的必要部件。本文針對權(quán)向量的設(shè)置，提供權(quán)向量分區(qū)的方案，并以此定義算法的分布式模式。對于分區(qū)方法，本文提出兩種方法，一種是以相近的權(quán)向量作為一個分區(qū)，該方案能充分

4、利用分區(qū)內(nèi)的鄰居信息，但是由于多樣性不足，各個分區(qū)容易提前進入收斂;另一種方案是將相近的權(quán)向量分配到不同的分區(qū)，與前一方案相比，它能夠提供更好的多樣性，但是，鄰居的信息質(zhì)量不如方案一中的高。存分布式框架中的實驗表明，在大多數(shù)測試函數(shù)中，方案二能得到較好的結(jié)果。在擴展性方面，本文將權(quán)向量劃分為多個分區(qū)作為算法的擴展方式。實驗表明，單純依靠權(quán)向量的劃分，算法的擴展性受到了限制，因為越多分區(qū)，每個分區(qū)得到的權(quán)向量以及鄰居的質(zhì)量越少，不能完全利