多任務(wù)數(shù)據(jù)處理引擎資源共享與錯(cuò)誤隔離機(jī)制研究.pdf

1、MapReduce是一個(gè)流行的計(jì)算框架，被商業(yè)界和學(xué)術(shù)界廣泛地應(yīng)用于大數(shù)據(jù)處理和分析，而Hadoop是一個(gè)主流的MapReduce的開(kāi)源實(shí)現(xiàn)，隨著Hadoop的大規(guī)模的應(yīng)用，其可靠性和可用性成為人們關(guān)注的焦點(diǎn)。Hadoop采用了Master/Slaves結(jié)構(gòu)，因此不可避免的存在單點(diǎn)問(wèn)題，Colt系統(tǒng)正是通過(guò)對(duì)當(dāng)前單點(diǎn)問(wèn)題的解決方案和已有的對(duì)Hadoop的單點(diǎn)問(wèn)題的研究進(jìn)行分析，并提出的對(duì)于Hadoop的單點(diǎn)問(wèn)題的一個(gè)新的解決方案，是一個(gè)

2、優(yōu)化后的Hadoop系統(tǒng)。
　　Colt系統(tǒng)針對(duì)Hadoop中MapReduce的單點(diǎn)問(wèn)題，借鑒分布式協(xié)調(diào)服務(wù)Zookeeper的思想，在系統(tǒng)中采用Zookeeper作為信息管理系統(tǒng)，使其作為系統(tǒng)運(yùn)行的一部分，以達(dá)到主從節(jié)點(diǎn)錯(cuò)誤隔離的目的。在當(dāng)前的解決方案中，將Hadoop的Master/Slaves模型變?yōu)镸aster-Zookeeper-Slaves的二級(jí)網(wǎng)絡(luò)結(jié)構(gòu)模型，把主從節(jié)點(diǎn)隔離，主從節(jié)點(diǎn)不再直接進(jìn)行信息交互，而是通過(guò)與Z

3、ookeeper進(jìn)行交互。在這種狀況下，即使主節(jié)點(diǎn)失效，從節(jié)點(diǎn)也能繼續(xù)與Zookeeper進(jìn)行交互，并繼續(xù)正常運(yùn)行，從而到達(dá)錯(cuò)誤隔離的目的。同時(shí)通過(guò)狀態(tài)管理模型，將Master變?yōu)闊o(wú)狀態(tài)節(jié)點(diǎn)，可以快速?gòu)氖≈谢謴?fù)，因主節(jié)點(diǎn)失效而失敗的作業(yè)也能快速恢復(fù)到之前的作業(yè)狀態(tài)繼續(xù)運(yùn)行，達(dá)到了正在運(yùn)行任務(wù)級(jí)別的恢復(fù)粒度，為了保證系統(tǒng)性能與原系統(tǒng)相比誤差在5％以內(nèi)，系統(tǒng)針對(duì)當(dāng)前架構(gòu)進(jìn)行了優(yōu)化，將心跳處理方式變?yōu)椴l(fā)處理方式，以提高處理速度。