云計(jì)算中MapReduce框架的研究與改進(jìn).pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，信息量急劇增長，如何高效處理海量數(shù)據(jù)成為一個(gè)非常嚴(yán)峻的問題。傳統(tǒng)方式下處理大數(shù)據(jù)費(fèi)用昂貴，而在云計(jì)算變革中誕生的Hadoop平臺(tái)能夠輕松應(yīng)對(duì)龐大數(shù)據(jù)量，包含結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，并可大規(guī)模并行處理，為海量數(shù)據(jù)處理帶來一種更為方便、廉價(jià)、快捷和安全的方式。因此，研究如何提高Hadoop框架的穩(wěn)定性，優(yōu)化系統(tǒng)性能具有重要意義。
　　本文從Hadoop的框架結(jié)構(gòu)入手，針對(duì)節(jié)點(diǎn)的負(fù)載均衡和任務(wù)調(diào)度優(yōu)化等問題進(jìn)行了研究。首

2、先，分析Map任務(wù)中間結(jié)果的映射過程，指出數(shù)據(jù)傾斜問題，提出兩種均衡數(shù)據(jù)映射的方法:公平負(fù)載在線模型和公平負(fù)載離線模型。其中，在線模型需要預(yù)先分析Key的分布，而離線模型需要衡量任務(wù)槽的性能，為此提出一種衡量節(jié)點(diǎn)性能方法。其次，分析數(shù)據(jù)本地性問題，指出數(shù)據(jù)本地性的重要性以及分布式異構(gòu)環(huán)境的影響。對(duì)任務(wù)調(diào)度進(jìn)行研究，分析三種現(xiàn)有調(diào)度算法，提出一種基于節(jié)點(diǎn)延遲匹配調(diào)度的算法，來提高本地任務(wù)的匹配度。最后，構(gòu)建Hadoop分布式環(huán)境，并在集群