基于Hadoop的出租車數(shù)據(jù)質(zhì)量分析與處理.pdf

1、深圳市通過智能交通系統(tǒng)（Intelligent Transportation System，ITS）建設(shè)，建立了智能交通公用信息平臺，信息平臺每天采集到海量的交通數(shù)據(jù)，這些數(shù)據(jù)蘊含著豐富的交通信息。高質(zhì)量的交通數(shù)據(jù)是ITS做出正確決策的保證，然而，實際的交通數(shù)據(jù)采集過程中，由于設(shè)備故障、外界環(huán)境干擾、人為操作失誤等多種因素的影響使得獲取的原始數(shù)據(jù)不可避免地存在丟失、冗余等質(zhì)量問題。本文結(jié)合項目需求，采用基于Hadoop搭建的云計算平臺對

2、深圳市海量出租車數(shù)據(jù)進行數(shù)據(jù)質(zhì)量分析，并面向數(shù)據(jù)質(zhì)量進行數(shù)據(jù)處理，主要工作包括以下幾個方面：
　?。?）研究國內(nèi)外學者數(shù)據(jù)質(zhì)量評估和數(shù)據(jù)清洗方面取得的成果與不足，并在此基礎(chǔ)上引出本文的研究內(nèi)容。
　?。?）根據(jù)項目需求設(shè)計了基于決策學中層次分析法結(jié)合歷史數(shù)據(jù)的評價體系，利用層次分析法計算評價指標權(quán)值并以歷史數(shù)據(jù)的期望為基準得到數(shù)據(jù)質(zhì)量分數(shù)，將數(shù)據(jù)質(zhì)量問題量化，直觀的反映數(shù)據(jù)質(zhì)量狀況。
　?。?）針對深圳市出租車數(shù)據(jù)特征

3、提出了GPS數(shù)據(jù)和營運數(shù)據(jù)質(zhì)量評價方案，首先找到影響數(shù)據(jù)質(zhì)量的主要因素，確定各自的評價指標，然后針對數(shù)據(jù)集中存在的冗余、不完整和錯誤數(shù)據(jù)，提出相應的評價規(guī)則算法判斷是否符合條件。
　?。?）面向深圳市出租車數(shù)據(jù)質(zhì)量分析結(jié)果，提高數(shù)據(jù)質(zhì)量。重點研究了重復數(shù)據(jù)清洗技術(shù)，提出了基于 MapReduce的分塊去重算法刪除重復數(shù)據(jù)。然后分別對GPS數(shù)據(jù)和營運數(shù)據(jù)提出了基于Hadoop平臺的出租車數(shù)據(jù)清洗方案，數(shù)據(jù)清洗方案主要針對數(shù)據(jù)不完整、

4、冗余和錯誤的質(zhì)量問題，將傳統(tǒng)的清洗技術(shù)遷移到云平臺。
　?。?）將清洗后高質(zhì)量的 GPS數(shù)據(jù)應用于出租車?？奎c研究，提出了基于DBSCAN的?？奎c檢測算法，從非載客的軌跡數(shù)據(jù)中找到出租車?？奎c，檢測算法主要分為三個步驟：候選點獲取，候選點過濾和停靠點候選點聚類。候選點的獲取是根據(jù)候選點檢測算法，然后利用時間和空間屬性對候選點過濾，最后分析各種聚類算法優(yōu)缺點，選擇DBSCAN聚類算法進行?？奎c聚類。
　　通過建立的數(shù)據(jù)質(zhì)量評價