基于Hadoop的城市交通擁堵區(qū)域?qū)崟r(shí)分析系統(tǒng)研究.pdf

1、伴隨著國(guó)家經(jīng)濟(jì)發(fā)展和人民生活質(zhì)量提高，城市化進(jìn)程的加快也給人們帶來(lái)了一系列問(wèn)題，城市的汽車(chē)保有量呈現(xiàn)快速增長(zhǎng)趨勢(shì)，上下班節(jié)假日等高峰期的交通擁堵現(xiàn)象嚴(yán)重影響了正常的生活。本文研究的問(wèn)題是如何利用科學(xué)的手段對(duì)擁堵情況進(jìn)行實(shí)時(shí)分析，為警方或者人們提供實(shí)時(shí)的交通擁堵區(qū)域，方便及時(shí)采取合適的措施應(yīng)對(duì)交通擁堵帶來(lái)的影響。
　　本文在比較和分析了當(dāng)前比較流行的大數(shù)據(jù)處理平臺(tái)和框架，了解了相關(guān)技術(shù)后，設(shè)計(jì)了一個(gè)能夠?qū)?chē)輛GPS數(shù)據(jù)進(jìn)行實(shí)時(shí)的采集

2、、處理、分析和顯示的大數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)方案?；贖adoop平臺(tái)，利用Kafka對(duì)車(chē)輛GPS數(shù)據(jù)進(jìn)行實(shí)時(shí)采集和傳輸，再基于Spark Streaming數(shù)據(jù)流處理框架改進(jìn)了CluStream數(shù)據(jù)流聚類(lèi)算法對(duì)數(shù)據(jù)進(jìn)行聚類(lèi)分析，再將處理得到的結(jié)果傳入MySQL數(shù)據(jù)庫(kù)和Redis數(shù)據(jù)庫(kù)，通過(guò)HTTP協(xié)議和WebSocket協(xié)議進(jìn)行數(shù)據(jù)訪問(wèn)，最后在瀏覽器上顯示實(shí)時(shí)或歷史的交通擁堵區(qū)域。本文的主要工作如下：
　?。?）針對(duì)用戶(hù)對(duì)交通擁堵區(qū)域

3、結(jié)果顯示的不同需求，提出了結(jié)合MySQL數(shù)據(jù)庫(kù)和Redis數(shù)據(jù)庫(kù)的存儲(chǔ)訪問(wèn)優(yōu)化策略。根據(jù)MySQL數(shù)據(jù)庫(kù)與Redis數(shù)據(jù)庫(kù)的不同存儲(chǔ)優(yōu)勢(shì)，將存儲(chǔ)的訪問(wèn)服務(wù)更加細(xì)化，使用HTTP協(xié)議和WebSocket協(xié)議分別對(duì)歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)進(jìn)行分類(lèi)訪問(wèn)，針對(duì)用戶(hù)的不同需求，提供不同的存儲(chǔ)訪問(wèn)方式，為系統(tǒng)提供一個(gè)針對(duì)性的高質(zhì)量、高效率的處理方案。
　?。?）針對(duì)CluStream數(shù)據(jù)流聚類(lèi)算法的數(shù)據(jù)處理時(shí)效性和算法參數(shù)敏感等問(wèn)題，提出了結(jié)合了變

4、長(zhǎng)滑動(dòng)窗口和遺傳算法進(jìn)行改進(jìn)的CluStream改進(jìn)算法，使對(duì)數(shù)據(jù)流的處理具有更好的實(shí)時(shí)性和可靠性。
　?。?）針對(duì)車(chē)輛GPS數(shù)據(jù)量大和分析實(shí)時(shí)性要求高的特點(diǎn)，改進(jìn)了CluStream數(shù)據(jù)流聚類(lèi)算法的并行化策略。借助Spark Streaming的數(shù)據(jù)流分布式計(jì)算框架，實(shí)現(xiàn)了改進(jìn)的CluStream算法的聚類(lèi)并行化，更好地實(shí)現(xiàn)了對(duì)車(chē)輛GPS數(shù)據(jù)流的實(shí)時(shí)、高效的聚類(lèi)處理。
　　本文針對(duì)城市交通擁堵區(qū)域分析而設(shè)計(jì)的大數(shù)據(jù)實(shí)時(shí)分析