基于Hadoop的海量城市交通流數(shù)據(jù)分布式存儲(chǔ)與分析研究.pdf

1、隨著智能交通基礎(chǔ)建設(shè)的快速發(fā)展，城鎮(zhèn)居民收入水平逐步提高，城市汽車(chē)擁有量大幅度增加。遍布每個(gè)城市道路的感應(yīng)線圈、卡口斷面系統(tǒng)，能夠及時(shí)地采集、記錄、匯總并上傳監(jiān)控?cái)?shù)據(jù)。但是由于城市道路交通流存在著數(shù)據(jù)量大、實(shí)時(shí)性高等特點(diǎn)，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)與處理技術(shù)存在著數(shù)據(jù)結(jié)構(gòu)與數(shù)據(jù)存儲(chǔ)容量無(wú)法靈活擴(kuò)展、分布式并行數(shù)據(jù)挖掘難、高容錯(cuò)恢復(fù)能力差等問(wèn)題。如何將海量的交通流數(shù)據(jù)實(shí)時(shí)地上傳、匯總和存儲(chǔ)利用，以及如何對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)挖掘成為一個(gè)較大的難題。以Hado

2、op為代表的大數(shù)據(jù)技術(shù)成為解決這一系列問(wèn)題的有效手段之一。
　　基于現(xiàn)階段城市交通發(fā)展帶來(lái)的數(shù)據(jù)存儲(chǔ)與分析等突出問(wèn)題，本文通過(guò)對(duì)基于Hadoop的MapReduce、HBase等大數(shù)據(jù)技術(shù)的研究，提出了相應(yīng)的解決方案，其主要研究工作和成果如下:
　　(1)本文提出了基于Hadoop的交通流數(shù)據(jù)存儲(chǔ)與分析總體架構(gòu)。將架構(gòu)分為5個(gè)層面:數(shù)據(jù)采集層、硬件平臺(tái)層、數(shù)據(jù)存儲(chǔ)與計(jì)算層、挖掘分析層和應(yīng)用服務(wù)層，同時(shí)研究與設(shè)計(jì)了節(jié)點(diǎn)在故障或

3、宕機(jī)情況下，Hadoop集群具有高容錯(cuò)恢復(fù)能力的可用性方案。
　　(2)本文提出了基于HBase的海量交通流數(shù)據(jù)分布式存儲(chǔ)方案。根據(jù)交通流數(shù)據(jù)特點(diǎn)與處理應(yīng)用需求，設(shè)計(jì)了可解決“熱點(diǎn)”問(wèn)題的交通流數(shù)據(jù)表行健結(jié)構(gòu)。同時(shí)研究了HBase的協(xié)處理器，設(shè)計(jì)了用于針對(duì)列查詢的快速數(shù)據(jù)檢索的二級(jí)索引表。
　　(3)本文還根據(jù)交通車(chē)流量與密度的關(guān)系，設(shè)計(jì)了流量與密度計(jì)算模型，提出了基于MapReduce的流量密度計(jì)算的并行化實(shí)現(xiàn)，解決了海量

4、交通流數(shù)據(jù)情況下的流量、密度快速計(jì)算難題。同時(shí)，采用K近鄰非參數(shù)回歸算法來(lái)預(yù)測(cè)短時(shí)交通流，通過(guò)對(duì)K近鄰狀態(tài)向量、距離度量方式、近鄰個(gè)數(shù)以及預(yù)測(cè)算法的選擇及研究，提出了基于MapReduce的KNN預(yù)測(cè)短時(shí)交通流的并行化實(shí)現(xiàn)，加快K最近鄰算法的搜索速度，實(shí)現(xiàn)對(duì)短時(shí)交通流的定時(shí)預(yù)測(cè)。
　　(4)最后，根據(jù)總體架構(gòu)應(yīng)用層需求，基于Hadoop平臺(tái)，構(gòu)建并實(shí)現(xiàn)了城市道路交通流數(shù)據(jù)分析系統(tǒng)。本文對(duì)系統(tǒng)進(jìn)行了詳細(xì)的功能模塊設(shè)計(jì)，并實(shí)現(xiàn)了對(duì)交通