交警大數(shù)據(jù)中心的研究與實現(xiàn).pdf

1、隨著信息化建設的推進，交通管理部門已建立了大量的基礎信息化業(yè)務系統(tǒng)。隨著這些系統(tǒng)的使用及數(shù)據(jù)的日益積累，數(shù)據(jù)的種類已越來越多，數(shù)據(jù)量越來越大，一方面給數(shù)據(jù)管理造成很大困擾，另一方面，如何提高數(shù)據(jù)有效利用率，如何挖掘數(shù)據(jù)的潛在價值，也成為交通管理部門的目前的主要問題。基于傳統(tǒng)結(jié)構化數(shù)據(jù)的處理模式和架構，在數(shù)據(jù)處理速度、處理種類、數(shù)據(jù)挖掘等方面存在較大的制約，已經(jīng)不能滿足持續(xù)發(fā)展的交通管理數(shù)據(jù)規(guī)模及公安部門對數(shù)據(jù)快速深入挖掘和實際應用的需求

2、。
　　本文主要目標是構建一種基于開源HADOOP以及云架構技術的大數(shù)據(jù)中心,采用分布式大數(shù)據(jù)混合存儲技術，構建PB級的大數(shù)據(jù)中心，通過匯集各部門、各專業(yè)警種、部省下發(fā)等數(shù)據(jù)以及社會資源數(shù)據(jù)，建設一體化的大數(shù)據(jù)中心平臺，使得上層服務和應用建立在數(shù)據(jù)邏輯整合層面上，底層數(shù)據(jù)的物理分布和上層應用無關。從而大大提升信息數(shù)據(jù)的查詢響應能力和深化數(shù)據(jù)分析研判的能力，使得原來在傳統(tǒng)關系型數(shù)據(jù)庫之上分析不了的關系模型能夠得到秒級響應，如卡口數(shù)據(jù)

3、流量分析、人車關聯(lián)分析、GPS軌跡分析等。
　　通過對數(shù)據(jù)來源的梳理，建立了一套穩(wěn)定的ETL工具，實現(xiàn)從采集、清洗、關聯(lián)整合、資源管理、運維監(jiān)測的閉環(huán)流程，整合交通管理部門的各類數(shù)據(jù)資源，進行有效匯集，并根據(jù)不同數(shù)據(jù)種類以及業(yè)務應用場景，建立不同的數(shù)據(jù)存儲模型。根據(jù)應用場景，設計并實現(xiàn)了面向不同結(jié)構層次、不同應用的匯集庫、基礎數(shù)據(jù)資源庫、應用資源庫、數(shù)據(jù)資源管理平臺，從而滿足不同用戶、不同業(yè)務的大數(shù)據(jù)平臺。
　　為了驗證大數(shù)