基于hadoop 環(huán)境下的出行行為大數(shù)據(jù)分析

1、畢業(yè)設(shè)計(jì)（論文）第1頁第1頁基于基于HADOOP環(huán)境下的出行行為大數(shù)據(jù)分析環(huán)境下的出行行為大數(shù)據(jù)分析摘要——不同團(tuán)體利用其活動產(chǎn)生的大數(shù)據(jù)和在團(tuán)體周圍環(huán)境中產(chǎn)生的大數(shù)據(jù)已經(jīng)創(chuàng)造了許多機(jī)會。在交通領(lǐng)域運(yùn)作的組織也從大數(shù)據(jù)分析中受益。研究旅客在選擇其運(yùn)輸方式時(shí)的行為是確定運(yùn)輸相關(guān)政策的一個(gè)重要因素。本文闡述了如何利用大數(shù)據(jù)分析工具對與公眾模式選擇有關(guān)的數(shù)據(jù)進(jìn)行分析。1.1.介紹介紹在交通研究中，出行行為已經(jīng)成為一個(gè)熱門話題。對旅客行為的分析

2、可以幫助運(yùn)輸服務(wù)提供商提供可靠的運(yùn)輸服務(wù)，滿足顧客的需求。盡管這給社會帶來了許多好處，但人類行為的復(fù)雜性在整個(gè)分析過程中帶來了許多挑戰(zhàn)。研究人員試圖發(fā)現(xiàn)大多數(shù)這些復(fù)雜的意向調(diào)查（可見的）行為調(diào)查。在調(diào)查過程中，客戶提出了許多問題，這些問題最終導(dǎo)致了大型數(shù)據(jù)集的開發(fā)。然后對數(shù)據(jù)集進(jìn)行分析，根據(jù)已知的出行需求模型公式建立出行需求模型。在出行需求建模領(lǐng)域有許多研究。OsmanIdriset.al.[1]研究了心理因素對艾蒙頓、阿爾伯塔哈比等城

3、市通勤出行方式選擇的影響。Habibet.al.[2]用隨機(jī)效用最大化法研究加拿大非工人的活動出行行為。Kamargianniet.al.[3]通過對居住在塞浦路斯的學(xué)生進(jìn)行抽樣調(diào)查，研究了學(xué)校旅行出行方式選擇中主觀和客觀因素的影響。Jiet.al.[4]研究了南京（中國）居民的性別、年齡、收入和出行目的等幾個(gè)因素對選擇以公共自行車方式進(jìn)入軌道交通的影響。大數(shù)據(jù)是圍繞大量數(shù)據(jù)開發(fā)的概念。由于旅游調(diào)查中存在大量的問題，大數(shù)據(jù)的概念也適用于

4、出行調(diào)查數(shù)據(jù)。畢業(yè)設(shè)計(jì)（論文）第3頁互聯(lián)網(wǎng)和自動車輛產(chǎn)生的數(shù)據(jù)可以達(dá)到每秒千兆字節(jié)的速度。從倫敦飛往紐約的飛機(jī)上的傳感器網(wǎng)絡(luò)可以產(chǎn)生650兆字節(jié)的數(shù)據(jù)[5]。最后，多樣性是3V屬性集中的一個(gè)關(guān)鍵組成部分。與傳統(tǒng)數(shù)據(jù)分析技術(shù)完全兼容的數(shù)據(jù)集是結(jié)構(gòu)化的，數(shù)據(jù)類型是預(yù)先確定的。另一方面，對大數(shù)據(jù)中的數(shù)據(jù)格式?jīng)]有控制，數(shù)據(jù)可以是結(jié)構(gòu)化的、半結(jié)構(gòu)化的或非結(jié)構(gòu)化的。與數(shù)據(jù)關(guān)聯(lián)的元數(shù)據(jù)確定數(shù)據(jù)集的類型和內(nèi)容。這通常出現(xiàn)在從TwitterAPI收集的t

5、weets中，其中收集的數(shù)據(jù)將以json格式顯示tweet內(nèi)容、發(fā)件人姓名、時(shí)間和日期等。從社交媒體網(wǎng)站（如flickr）收集的照片包含一個(gè)元數(shù)據(jù)，其中包含照片拍攝的時(shí)間和日期、時(shí)間和日期和被上傳到網(wǎng)站上的，與照片相關(guān)的評論和主題，照片的位置，分辨率等。為了分析各種格式的數(shù)據(jù)，數(shù)據(jù)分析系統(tǒng)應(yīng)具有以下特點(diǎn)：可擴(kuò)展性、分布式處理能力、圖像處理能力、圖形處理能力和視頻音頻處理能力[5]。大數(shù)據(jù)分析工具相對于傳統(tǒng)工具的其他優(yōu)勢是可擴(kuò)展性、成本效

6、率、靈活性、高性能和高可用性[5]。由于傳統(tǒng)數(shù)據(jù)分析技術(shù)的能力有限，大數(shù)據(jù)分析需要一個(gè)全新的系統(tǒng)。這個(gè)新系統(tǒng)通常被稱為“大數(shù)據(jù)生態(tài)系統(tǒng)”，由許多組件組成，其中一些組件如下所述：擴(kuò)展數(shù)據(jù)庫擴(kuò)展數(shù)據(jù)庫這是一種提高數(shù)據(jù)庫容量的策略。通過添加數(shù)據(jù)庫節(jié)點(diǎn)來增加容量，并按比例增加容量。該技術(shù)通過提供一個(gè)水平規(guī)模的集群數(shù)據(jù)庫解決方案來支持分布式計(jì)算的原理。Mellanox和Clustrix等幾家公司提供擴(kuò)展數(shù)據(jù)庫。水平平臺水平平臺這種平臺存在于Had