基于Hadoop的面向海量交通流數(shù)據(jù)分析與應(yīng)用.pdf

1、近年來(lái)，隨著城市機(jī)動(dòng)車(chē)保有量的持續(xù)增長(zhǎng)，交通違章和違法行為越來(lái)越多，如多輛車(chē)結(jié)伴作案、出租車(chē)罷工罷運(yùn)、酒駕等，對(duì)城市安全帶來(lái)了巨大隱患。如何快速識(shí)別以上交通行為模式對(duì)公安、交警主動(dòng)預(yù)警和事后偵查具有重要意義。此外，針對(duì)日益增長(zhǎng)的海量交通流數(shù)據(jù)，傳統(tǒng)的處理方法在存儲(chǔ)空間和計(jì)算效率上已經(jīng)不能滿足用戶(hù)的應(yīng)用需求。因此本文重點(diǎn)研究“多車(chē)頻繁結(jié)伴——本文稱(chēng)之為伴隨”和“出租車(chē)罷工罷運(yùn)——本文稱(chēng)之為浮動(dòng)車(chē)聚集”兩種交通行為模式，并提出了面向交通流時(shí)

2、空大數(shù)據(jù)的伴隨模式高效挖掘算法和基于HBase的浮動(dòng)車(chē)聚集模式實(shí)時(shí)監(jiān)測(cè)算法，然后在此基礎(chǔ)上構(gòu)建基于Hadoop的面向海量交通數(shù)據(jù)的分析和處理平臺(tái)。本文在如下方面進(jìn)行了較為有益的探索：
　?。?）通過(guò)對(duì)海量卡口過(guò)車(chē)數(shù)據(jù)的分析和面向海量交通流數(shù)據(jù)的伴隨車(chē)行為模式的研究，首先給出了頻繁項(xiàng)集相關(guān)概念在伴隨車(chē)挖掘中的新定義，并在此基礎(chǔ)上提出了基于MapReduce的時(shí)空大數(shù)據(jù)頻繁項(xiàng)集挖掘算法FSST，實(shí)驗(yàn)證明該算法在準(zhǔn)確性、執(zhí)行時(shí)間和內(nèi)存使

3、用等方面優(yōu)于傳統(tǒng)的Apriori和Sequence-Growth算法，最后提出了伴隨車(chē)的嫌疑度計(jì)算方法用于計(jì)算伴隨車(chē)嫌疑大小。
　　（2）根據(jù)浮動(dòng)車(chē)聚集行為模式的特征，定義了浮動(dòng)車(chē)聚集行為模式，同時(shí)參考基于網(wǎng)格的聚類(lèi)算法和HBase的數(shù)據(jù)模型，提出了基于HBase的全天候全域浮動(dòng)車(chē)聚集實(shí)時(shí)監(jiān)測(cè)算法，定時(shí)執(zhí)行該算法，在真實(shí)的、海量交通數(shù)據(jù)上的實(shí)驗(yàn)證明該算法監(jiān)測(cè)浮動(dòng)車(chē)聚集的有效性。
　?。?）實(shí)現(xiàn)了上述研究?jī)?nèi)容的基于Hadoop