面向交易系統(tǒng)的低延遲和容錯(cuò)復(fù)制技術(shù)框架的研究與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)的快速發(fā)展對(duì)交易系統(tǒng)的要求越來(lái)越高,低延遲和高可用性已經(jīng)成為衡量一個(gè)交易系統(tǒng)的重要指標(biāo)。交易系統(tǒng)不僅需要滿足數(shù)據(jù)的一致性和完整性,而且還要考慮交易延遲對(duì)用戶體驗(yàn)的重要影響。同時(shí),交易系統(tǒng)對(duì)數(shù)據(jù)的實(shí)時(shí)分析也是 IT廠商關(guān)注的重點(diǎn)問(wèn)題。如何對(duì)海量的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)做實(shí)時(shí)分析,如何保證交易數(shù)據(jù)的穩(wěn)定性,是大數(shù)據(jù)時(shí)代的共同挑戰(zhàn)。
　　本文先介紹交易系統(tǒng)延遲相關(guān)的各個(gè)技術(shù):網(wǎng)絡(luò)技術(shù)、聯(lián)機(jī)事務(wù)處理系統(tǒng)和聯(lián)機(jī)分析處理系統(tǒng)。網(wǎng)絡(luò)技術(shù)

2、中重點(diǎn)對(duì)比了萬(wàn)兆以太網(wǎng)和 Infiniband,萬(wàn)兆以太網(wǎng)是應(yīng)用于高層網(wǎng)絡(luò)通信(比如TCP/IP)的技術(shù),傳輸距離很遠(yuǎn),而InfiniBand傳輸距離很近,是用于底層輸入/輸出通信的技術(shù),可用來(lái)提高服務(wù)器端輸入/輸出的性能。交易系統(tǒng)是典型的聯(lián)機(jī)事務(wù)處理系統(tǒng),聯(lián)機(jī)事務(wù)處理系統(tǒng)也稱為實(shí)時(shí)系統(tǒng),因?yàn)樗闹匾攸c(diǎn)就是快速響應(yīng)客戶請(qǐng)求,即實(shí)時(shí)性高。響應(yīng)時(shí)間就是衡量一個(gè)聯(lián)機(jī)事務(wù)處理系統(tǒng)的重要指標(biāo)。交易產(chǎn)生的數(shù)據(jù)處理,是基于一個(gè)分布式系統(tǒng)上的數(shù)據(jù)管理

3、技術(shù),也稱為聯(lián)系分析處理技術(shù),在云計(jì)算和大數(shù)據(jù)快速發(fā)展的今天,Hadoop成為主流的框架平臺(tái)。而Google在2010年發(fā)布新的信息查詢技術(shù)Dremel,可以實(shí)現(xiàn)3秒內(nèi)查詢1PB數(shù)據(jù)。
　　針對(duì)實(shí)時(shí)交易系統(tǒng)和實(shí)時(shí)數(shù)據(jù)處理系統(tǒng),本文設(shè)計(jì)了整體的系統(tǒng)框架,并針對(duì)各個(gè)模塊進(jìn)行了詳細(xì)的介紹。在實(shí)時(shí)交易系統(tǒng)中,重點(diǎn)解決系統(tǒng)的低延遲和容錯(cuò)能力,提出了基于Paxos算法的內(nèi)存復(fù)制解決方案。在實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)中,運(yùn)用Hadoop架構(gòu)技術(shù)進(jìn)行部署,

4、Hadoop是一個(gè)在大型集群設(shè)備上部署分布式系統(tǒng)的應(yīng)用框架,由 HDFS和MapReduce兩部分組成;同時(shí)介紹了最新的數(shù)據(jù)處理技術(shù)Dremel,可對(duì)存儲(chǔ)在HDFS內(nèi)和MapReduce產(chǎn)生的結(jié)果集進(jìn)行處理。系統(tǒng)整體部署中用到的核心技術(shù)有Paxos算法,Hadoop架構(gòu)技術(shù)和Dremel數(shù)據(jù)處理技術(shù)。由于Hadoop架構(gòu)技術(shù)比較成熟,只對(duì)其做了簡(jiǎn)單的闡述,Dremel數(shù)據(jù)處理技術(shù)中,詳細(xì)地介紹了它的工作原理和優(yōu)勢(shì)。重點(diǎn)介紹核心的Paxo