云隊(duì)列-一個(gè)基于Hadoop的大規(guī)模消息基礎(chǔ)平臺(tái).pdf

1、隨著互聯(lián)網(wǎng)和物聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)呈現(xiàn)爆炸式的增長，使得為了處理這些海量的數(shù)據(jù)，需要構(gòu)建更加龐大、更加復(fù)雜、更加靈活的分布式系統(tǒng)，系統(tǒng)間的通訊與協(xié)作就變得至關(guān)重要。面向消息的中間件(MOM)利用高效可靠的消息傳遞機(jī)制進(jìn)行平臺(tái)無關(guān)的數(shù)據(jù)交流，屏蔽了不同系統(tǒng)之間的軟硬件的差異，使得不同系統(tǒng)間的通信和數(shù)據(jù)交換透明化。但是，隨著物聯(lián)網(wǎng)的發(fā)展，更多的設(shè)備需要接入互聯(lián)網(wǎng)，傳統(tǒng)的面向消息中間件顯然在規(guī)模和可靠性方面已經(jīng)不能很好地滿足當(dāng)前大規(guī)模、跨數(shù)據(jù)

2、中心的分布式系統(tǒng)間通訊的要求。
　　 Hadoop是一個(gè)開源的云計(jì)算開發(fā)框架，是一個(gè)在由通用和商用計(jì)算設(shè)備組成的大型集群上執(zhí)行分布式應(yīng)用的框架，可以為應(yīng)用程序提供穩(wěn)定可靠的接口，構(gòu)建一個(gè)具有高可靠性和良好擴(kuò)展性的分布式系統(tǒng)。
　　 本文基于從當(dāng)前分布式系統(tǒng)消息通信的需求出發(fā)，并結(jié)合Hadoop云計(jì)算平臺(tái)，提出了一個(gè)面向Internet規(guī)模的、高性能和高可靠的消息隊(duì)列服務(wù)平臺(tái)--云隊(duì)列(Cloudqueue)。通過云隊(duì)列平

3、臺(tái)所提供的消息服務(wù)實(shí)現(xiàn)異步通訊、存儲(chǔ)轉(zhuǎn)發(fā)、可靠傳輸、跨互聯(lián)網(wǎng)等特性，云隊(duì)列可以在云計(jì)算時(shí)代為應(yīng)用程序提供高性能、高可靠、大容量的面向互聯(lián)網(wǎng)的消息傳遞服務(wù)。
　　 文章從現(xiàn)實(shí)需求出發(fā)，在分析了消息中間件的相關(guān)基礎(chǔ)知識(shí)和Hadoop關(guān)鍵技術(shù)的基礎(chǔ)之上，提出了云隊(duì)列系統(tǒng)的設(shè)計(jì)目標(biāo)與整體架構(gòu)，然后，通過分析相關(guān)的關(guān)鍵技術(shù)，提出了云隊(duì)列的技術(shù)架構(gòu)和對(duì)象模型。最后，本文詳細(xì)地介紹了云隊(duì)列的具體實(shí)現(xiàn)和相關(guān)接口的定義。
　　 最后，通過