交通安防大數(shù)據(jù)的實時快速檢索關(guān)鍵技術(shù)研究.pdf

1、隨著城市化進(jìn)程加快，城市人口迅速增加，帶來了日益嚴(yán)重的交通安全問題。“智能交通”可以通過城市監(jiān)控所采集的大量數(shù)據(jù)，對交通情況、城市安全進(jìn)行分析，協(xié)助城市管理者管理城市的交通與安全。HBase數(shù)據(jù)庫可以大規(guī)模存儲車輛信息，但是無法快速實時進(jìn)行檢索。本文主要面向?qū)Base中存儲的過車記錄進(jìn)行快速實時檢索，提出通過降低網(wǎng)絡(luò)開銷、硬盤讀取開銷的優(yōu)化方法。
　　本研究主要內(nèi)容包括：⑴在HBase中建立二級索引降低檢索中掃描的數(shù)據(jù)量，計算二

2、級索引來獲得符合檢索條件的記錄。實驗結(jié)果表明，返回第一條過車記錄的檢索響應(yīng)時間相比無二級索引時降低45倍。⑵二級索引從存儲端傳輸至客戶端的網(wǎng)絡(luò)傳輸開銷時間占總檢索時間的20％。為了降低網(wǎng)絡(luò)傳輸開銷，基于近數(shù)據(jù)計算理論，通過HBase協(xié)處理器構(gòu)建加速框架將二級索引的獲取和計算移動到存儲節(jié)點進(jìn)行。在集成了該加速框架后，網(wǎng)絡(luò)開銷降低了12倍，檢索響應(yīng)時間加速比為1.4。⑶⑶在檢索時發(fā)現(xiàn)存儲節(jié)點從硬盤讀取二級索引的時間占總時間開銷的70%。為了