智慧高速海量異構數據處理關鍵技術研究.pdf

1、高速公路作為經濟運輸大動脈，承擔的運輸量與經濟和社會需求同步增長。目前高速公路在建設管理、運營管理、養(yǎng)護管理及服務等方面也呈現出一些問題，如體制分散、缺乏統(tǒng)一協(xié)調，出現了“信息孤島”、缺乏對交通信息的綜合利用等。隨著物聯網、云計算、人工智能、自動控制、移動互聯網等技術在交通領域中的充分運用，“智慧高速”也應運而生。智慧高速通過充分地“感知”高速公路，實現信息深度融合、數據分析和挖掘，采用準確的模型和控制系統(tǒng)，為管理者和出行者提供協(xié)同管理

2、和智慧服務。但在智慧高速建設過程中，“感知”的數據具有種類繁多、數據量大、存儲分散等特性，因此數據的有效存儲、高效率的數據檢索、數據的深度融合是目前智慧高速重點研究內容之一。
　　本文以某區(qū)智慧高速為研究對象，結合當前該區(qū)智慧高速的建設情況及數據的特點，以Hadoop大數據平臺為基礎，對智慧高速數據中心海量異構數據處理的相關關鍵技術進行研究，主要有以下幾方面的研究工作。
　　(1)分析云計算和Hadoop相關技術，主要包含H

3、DFS分布式文件、MapReduce分布式計算框架和HBase分布式數據庫等技術。
　　(2)在對該區(qū)智慧高速建設情況和數據特點分析基礎上，構建了智慧高速海量異構數據處理總體架構，實現了海量異構數據處理流程。同時，根據用戶的需求，確定了智慧高速海量異構數據處理的相關關鍵技術，包括數據遷移、數據存儲、數據檢索技術等。
　　(3)實現了智慧高速海量異構數據關鍵技術中的數據存儲、數據遷移、數據檢索等的研究和方案設計。設計了數據存儲

4、結構、關系型數據表與HBase表的映射規(guī)則。提出了基于磁盤讀寫調度的結構化數據遷移和基于Apache VFS的非結構化數據遷移方案。設計了一種基于HBase二級索引的數據檢索策略，結合數據緩存層，提高復雜條件的數據檢索效率。
　　(4)在智慧高速海量異構數據處理總體架構上，對智慧高速海量異構數據處理關鍵技術進行了實驗驗證。實驗結果表明:基于磁盤讀寫調度器的結構化數據遷移與默認調度器相比，隨著數據遷移量的增加，遷移效率明顯提升;設計