基于Spark的粒子群算法并行編程及其在水庫(kù)調(diào)度中的應(yīng)用.pdf

1、黑河流域水資源數(shù)據(jù)量龐大，數(shù)據(jù)關(guān)系復(fù)雜，應(yīng)用常規(guī)技術(shù)進(jìn)行優(yōu)化調(diào)度難度較大。本文針對(duì)黑河流域當(dāng)前存在的水資源調(diào)度問(wèn)題，應(yīng)用大數(shù)據(jù)處理與進(jìn)化計(jì)算技術(shù)，基于大數(shù)據(jù)計(jì)算框架Spark與并行化的粒子群算法，研究開(kāi)發(fā)了黑河流域水庫(kù)群多目標(biāo)優(yōu)化調(diào)度系統(tǒng)。
　　在研究開(kāi)發(fā)過(guò)程中，作者分析了黑河流域水資源優(yōu)化調(diào)度系統(tǒng)多個(gè)目標(biāo)的特點(diǎn)，將多個(gè)目標(biāo)轉(zhuǎn)化成單個(gè)目標(biāo)，得到該問(wèn)題的求解模型。接著研究了并行算法編程模型、用于優(yōu)化問(wèn)題求解的粒子群算法及其并行化策略

2、，以及基于Spark大數(shù)據(jù)計(jì)算框架的粒子群算法并行化方法。
　　在理論與技術(shù)研究的基礎(chǔ)上，以Hadoop2.7.1、Sparkl.5.2、Spark on Yarn軟件為基礎(chǔ)，搭建了大數(shù)據(jù)支持平臺(tái)；在該平臺(tái)的分布式文件系統(tǒng)HDFS中存儲(chǔ)了獲取的黑河流域水資源數(shù)據(jù)。接著在Ubuntu Linux操作系統(tǒng)環(huán)境、 Spark平臺(tái)下，應(yīng)用Scala語(yǔ)言開(kāi)發(fā)了基于粒子群算法的水庫(kù)群多目標(biāo)優(yōu)化調(diào)度并行程序，實(shí)現(xiàn)了可處理水庫(kù)調(diào)度大數(shù)據(jù)、可高速運(yùn)

3、行調(diào)度優(yōu)化程序的水庫(kù)群多目標(biāo)優(yōu)化調(diào)度系統(tǒng)。
　　本調(diào)度系統(tǒng)的數(shù)據(jù)載入、程序運(yùn)行、結(jié)果查詢等操作都是在Ubimtu Linux操作系統(tǒng)與 Spark平臺(tái)、界面下進(jìn)行，對(duì)于不熟悉Spark運(yùn)行機(jī)制的普通使用者來(lái)說(shuō)，使用困難極大。為了解決此問(wèn)題，還開(kāi)發(fā)了一個(gè)水庫(kù)群多目標(biāo)優(yōu)化調(diào)度系統(tǒng)應(yīng)用平臺(tái)，實(shí)現(xiàn)了大數(shù)據(jù)的上傳、下載、刪除、查詢，以及需要Spark大數(shù)據(jù)平臺(tái)處理的應(yīng)用程序任務(wù)的提交運(yùn)行和SQL查詢等功能。
　　本課題的研究開(kāi)發(fā)工作，