基于Spark的短時交通流預(yù)測系統(tǒng)設(shè)計.pdf

1、短時交通流預(yù)測，作為智能交通系統(tǒng)的重要組成部分，一直是道路交通領(lǐng)域的研究熱點。對于短時交通流預(yù)測算法，預(yù)測準(zhǔn)確率和預(yù)測計算時間是影響交通控制、誘導(dǎo)和管理效果的關(guān)鍵指標(biāo)，目前短時交通流預(yù)測算法的預(yù)測準(zhǔn)確率和預(yù)測計算時間互為對立，沒有很好的融合解決方法。論文結(jié)合Hadoop, Hbase, Spark, Dubbo等分布式處理技術(shù)，設(shè)計了一種靈活可擴展的分布式短時交通流預(yù)測系統(tǒng)模型。為了使此系統(tǒng)模型更好適應(yīng)現(xiàn)代智能交通系統(tǒng)的需要，對以下幾個

2、方面展開研究，取得的主要成果如下。
　　通過對Spark分布式計算技術(shù)進行深入剖析，發(fā)現(xiàn)其磁盤 I/O效率不高，不能很好適應(yīng)短時交通流預(yù)測的要求。為了提高磁盤 I/O效率，論文提出了一種改進的Spark Shuffle過程，讓每個Mapper只生成一個共享的緩存文件，使磁盤讀寫方式由隨機訪問變?yōu)轫樞蛟L問，減少了磁盤尋道時間；讓每個Mapper的所有bucket共享同一個內(nèi)存緩沖區(qū)，提高了內(nèi)存的利用率，減少了磁盤的讀寫次數(shù)。

3、　　針對短時交通流預(yù)測算法時間復(fù)雜度較高的問題，結(jié)合統(tǒng)計學(xué)領(lǐng)域時間復(fù)雜度較低的ARIMA模型，設(shè)計了一種RUTP-ARIMA模型。該模型利用克羅內(nèi)克指數(shù)減少道路-時間矩陣維數(shù)，降低時間復(fù)雜度；加入城市道路交通特征參數(shù)，優(yōu)化了其在城市道路上的準(zhǔn)確率；最后用線性回歸的方式對交通流數(shù)據(jù)進行實時預(yù)測。
　　為了解決短時交通流預(yù)測算法預(yù)測準(zhǔn)確率和預(yù)測計算時間沒有很好融合的問題，結(jié)合機器學(xué)習(xí)領(lǐng)域的梯度優(yōu)化決策樹模型，設(shè)計了一種DUTP-GBD

4、T模型。該模型以影響城市交通的時間特征、道路狀況特征和天氣特征三個關(guān)鍵因素作為輸入?yún)?shù)，有效提高了該模型在城市道路環(huán)境的短時交通流預(yù)測準(zhǔn)確率。在Spark平臺上實現(xiàn)此模型時，為了減少模型的訓(xùn)練時間，提出了切分點抽樣、特征裝箱和逐層訓(xùn)練三種優(yōu)化方法，顯著降低模型訓(xùn)練過程中的網(wǎng)絡(luò)I/O開銷。
　　實驗結(jié)果表明，改進的Spark Shuffle過程可以有效提高Spark平臺的磁盤I/O效率。RUTP-ARIMA模型能有效減少預(yù)測計算時間