基于HBase的交通卡口數(shù)據(jù)存儲(chǔ)和查詢系統(tǒng)研發(fā).pdf

1、交通卡口數(shù)據(jù)具有多來(lái)源、高速率、數(shù)量大等特性。目前，交通卡口系統(tǒng)中依然使用的是傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)，傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)在面對(duì)交通卡口數(shù)據(jù)寫入和讀取時(shí)常常容易暴露出擴(kuò)展性能差、存儲(chǔ)性能低、查詢效率慢等問(wèn)題。針對(duì)上述問(wèn)題，本文設(shè)計(jì)并實(shí)現(xiàn)了一套基于HBase的交通卡口數(shù)據(jù)存儲(chǔ)和查詢系統(tǒng)。
　　該系統(tǒng)采用分布式架構(gòu)，前端攝像頭傳感器以Http協(xié)議方式將交通卡口數(shù)據(jù)發(fā)送給Flume分布式采集系統(tǒng)，采集系統(tǒng)對(duì)多源異構(gòu)數(shù)據(jù)進(jìn)行分類、聚合規(guī)范化整理，然

2、后將不同類型的卡口數(shù)據(jù)傳入到Kafka分布式消息隊(duì)列中進(jìn)行數(shù)據(jù)劃分，數(shù)據(jù)劃分中重寫了Kafka原有的Partition類，從而更好的實(shí)現(xiàn)了卡口數(shù)據(jù)讀取的實(shí)時(shí)性。Storm分布式實(shí)時(shí)計(jì)算系統(tǒng)從消息隊(duì)列中獲取卡口數(shù)據(jù)并且完成存儲(chǔ)過(guò)程，最終將卡口數(shù)據(jù)寫入到HBase集群服務(wù)器中。利用Phoenix-client作為HBase之上的Sql層，實(shí)現(xiàn)對(duì)HBase數(shù)據(jù)庫(kù)查詢。在保證系統(tǒng)高可靠、高可用的情況下，實(shí)現(xiàn)了卡口系統(tǒng)數(shù)據(jù)的快速寫入和讀取。

3、>　　測(cè)試實(shí)施中采用ThinkServerRD650服務(wù)器，搭建多節(jié)點(diǎn)分布式服務(wù)器平臺(tái)。測(cè)試結(jié)果表明：該系統(tǒng)與基于Oracle的實(shí)時(shí)卡口系統(tǒng)相比，其存儲(chǔ)性能提升了3倍，其存儲(chǔ)性能比原生的HBase相比，存儲(chǔ)性能提升了2倍。查詢性能比原生的HBase，提升了3倍，而且支持多條件聯(lián)合查詢。
　　因此利用上述方案可以很好的解決目前交通卡口系統(tǒng)由于數(shù)據(jù)量大而造成讀寫性能差的問(wèn)題?？梢灶A(yù)見(jiàn)，隨著大數(shù)據(jù)技術(shù)的快速發(fā)展，能讓我們?cè)诓贿h(yuǎn)的未來(lái)看到