基于SDN的MapReduce帶寬優(yōu)化設(shè)計(jì).pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，越來(lái)越多的應(yīng)用產(chǎn)生了大量的數(shù)據(jù)處理需求，為了并行處理大規(guī)模數(shù)據(jù)，Hadoop作為開(kāi)源的分布式系統(tǒng)基礎(chǔ)架構(gòu)被提了出來(lái)。然而在實(shí)際Hadoop系統(tǒng)中，一個(gè)嚴(yán)重影響其整體性能的問(wèn)題（如何使作業(yè)完成時(shí)間最短）成為了一個(gè)NP完全問(wèn)題，導(dǎo)致這個(gè)問(wèn)題的主要因素是數(shù)據(jù)中心的網(wǎng)絡(luò)帶寬的緊缺使MapReduce計(jì)算過(guò)程中數(shù)據(jù)遷移時(shí)間過(guò)長(zhǎng)。而軟件定義網(wǎng)絡(luò)（SDN）作為一個(gè)創(chuàng)新性的網(wǎng)絡(luò)架構(gòu)，它將控制層面完全由交換設(shè)備中剝離出來(lái)，遷移到控制器中

2、，交換機(jī)只負(fù)責(zé)數(shù)據(jù)的轉(zhuǎn)發(fā)工作，從而實(shí)現(xiàn)了路由控制和數(shù)據(jù)轉(zhuǎn)發(fā)的分離。同時(shí)也使交換機(jī)能夠?qū)W(wǎng)絡(luò)中的數(shù)據(jù)進(jìn)行靈活的處理，并且控制器能夠知曉全局網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，這讓我們看到了通過(guò)OpenFlow（SDN的具體實(shí)現(xiàn)）對(duì)Hadoop進(jìn)行性能優(yōu)化的可能性。
　　由此本文首先分析了影響Hadoop工作性能的主要原因，是Map節(jié)點(diǎn)向Reduce節(jié)點(diǎn)進(jìn)行數(shù)據(jù)遷移時(shí)間過(guò)長(zhǎng)。針對(duì)該問(wèn)題，我們提出利用SDN對(duì)網(wǎng)絡(luò)的靈活控制，讓Map中間值在交換機(jī)上進(jìn)行數(shù)據(jù)合