Hadoop平臺下的負(fù)載均衡優(yōu)化研究與改進(jìn).pdf

1、在云計算、大數(shù)據(jù)環(huán)境下，負(fù)載均衡問題逐漸成為研究的焦點(diǎn)之一。負(fù)載均衡是實(shí)現(xiàn)集群最優(yōu)調(diào)度的主要目標(biāo)之一，計算節(jié)點(diǎn)的負(fù)載不均衡，就會導(dǎo)致云平臺上任務(wù)執(zhí)行效率低、嚴(yán)重浪費(fèi)資源等問題。當(dāng)Hadoop集群中任務(wù)規(guī)模很大并且較多節(jié)點(diǎn)負(fù)載較高時，進(jìn)一步優(yōu)化調(diào)度算法可有效避免集群節(jié)點(diǎn)間出現(xiàn)負(fù)載極其不均衡的情況。本文研究了Hadoop集群的負(fù)載均衡機(jī)制，并且對分區(qū)算法和智能算法分別進(jìn)行了相應(yīng)的改進(jìn)，以提升集群的效率和性能。
　　本研究主要內(nèi)容包括：

2、⑴針對Hadoop平臺自帶的分區(qū)算法未考慮數(shù)據(jù)值的密集程度而造成的數(shù)據(jù)非均勻劃分情況，本文提出對分區(qū)數(shù)目進(jìn)行擴(kuò)充，并在運(yùn)行中加入動態(tài)任務(wù)轉(zhuǎn)移機(jī)制，充分利用空閑節(jié)點(diǎn)平衡高負(fù)載節(jié)點(diǎn)，以在保證負(fù)載均衡的同時，提高集群的資源利用率。⑵充分利用兩個不同智能算法各自的優(yōu)點(diǎn)，克服兩者的缺點(diǎn)，可以有效地提高現(xiàn)有算法的優(yōu)化效果。因此本文利用蟻群算法優(yōu)秀的全局搜索能力與蜂群算法優(yōu)秀的橫向搜索能力，將兩個智能算法進(jìn)行融合，提出了雙群融合智能算法，使二者充分發(fā)