基于Hadoop的并行化算法實(shí)現(xiàn)及GPS數(shù)據(jù)實(shí)例分析.pdf

1、隨著云計(jì)算、物聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展，大數(shù)據(jù)正成為信息技術(shù)的新熱點(diǎn)，產(chǎn)業(yè)發(fā)展的新方向，對(duì)人類的生產(chǎn)與生活產(chǎn)生巨大影響。大數(shù)據(jù)來(lái)源于互聯(lián)網(wǎng)、企業(yè)系統(tǒng)和物聯(lián)網(wǎng)等信息系統(tǒng)，經(jīng)過(guò)大數(shù)據(jù)處理平臺(tái)的分析與挖掘，產(chǎn)生新的知識(shí)用以支撐決策或業(yè)務(wù)智能化運(yùn)轉(zhuǎn)，大數(shù)據(jù)時(shí)代的到來(lái)給數(shù)據(jù)管理與分析提出了新的挑戰(zhàn)，數(shù)據(jù)處理方法的合理性和時(shí)效性成為了大數(shù)據(jù)統(tǒng)計(jì)分析的研究熱點(diǎn)。近年來(lái)，基于數(shù)據(jù)挖掘算法的大數(shù)據(jù)分析是研究的重要方向，但大都是以傳統(tǒng)單機(jī)環(huán)境下數(shù)據(jù)挖掘算

2、法改進(jìn)為主，由于受內(nèi)存、擴(kuò)展性等限制，不能有效滿足激增的海量數(shù)據(jù)處理需求，為此本文研究傳統(tǒng)數(shù)據(jù)挖掘算法在MapReduce并行編程環(huán)境下的實(shí)現(xiàn)方法，同時(shí)，針對(duì)大數(shù)據(jù)時(shí)代海量數(shù)據(jù)的存在形式及Hadoop平臺(tái)處理海量小文件數(shù)據(jù)時(shí)的性能瓶頸，提出海量小文件處理策略，最后，以出租車GPS數(shù)據(jù)為實(shí)例，對(duì)MapReduce實(shí)現(xiàn)短時(shí)交通路預(yù)測(cè)的高效性進(jìn)行驗(yàn)證，在Hadoop環(huán)境下，改進(jìn)基于MapReduce的K近鄰短時(shí)交通流預(yù)測(cè)算法，以提高預(yù)測(cè)準(zhǔn)確性

3、?；谝陨锨闆r，本文具體做了以下三項(xiàng)工作:
　　(1)針對(duì)單機(jī)環(huán)境下傳統(tǒng)數(shù)據(jù)挖掘算法在對(duì)大規(guī)模數(shù)據(jù)分析時(shí)存在“內(nèi)存消耗高、計(jì)算性能低、擴(kuò)展性差和可靠性弱”等問題，提出MapReduce并行環(huán)境下KNN、Apriori和K-Means算法的實(shí)現(xiàn)方法，并以“可行性、加速比和擴(kuò)展性”為指標(biāo)，采用不同大小的真實(shí)數(shù)據(jù)集，在由不同節(jié)點(diǎn)組成的集群中進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，該實(shí)現(xiàn)方法是可行和有效的，能提高KNN、Apriori和K-Means

4、算法的整體性能和挖掘效率，以滿足大規(guī)模數(shù)據(jù)挖掘的需要。
　　(2)分析了Hadoop平臺(tái)的設(shè)計(jì)初衷是專門處理流式大文件，而現(xiàn)實(shí)環(huán)境中大部分?jǐn)?shù)據(jù)是以海量小文件形式存在，針對(duì)Hadoop在處理海量小文件時(shí)，存在“內(nèi)存消耗高、處理效率低”等固有缺陷，本文中實(shí)現(xiàn)了CombineFileInputFormat(CFIF)、HadoopArchive(HA)、Sequence File(SF)等三種處理海量小文件的有效方法，并結(jié)合不同用戶的實(shí)

5、際需求，提出了相應(yīng)的處理策略，以“Namenode內(nèi)存消耗、MapReduce運(yùn)行速度”為指標(biāo)，驗(yàn)證策略選擇的合理性和有效性。實(shí)驗(yàn)結(jié)果表明，所實(shí)現(xiàn)的處理方法和提出的策略選擇，能最大化地發(fā)揮Hadoop的整體性能，提高海量小文件的處理效率。
　　(3)以海量出租車GPS數(shù)據(jù)為研究實(shí)例，一是利用(1)所述基于MapReduce的并行化K近鄰算法解決海量GPS數(shù)據(jù)預(yù)測(cè)短時(shí)交通流時(shí)效率低的問題;二是在短時(shí)交通流預(yù)測(cè)前，引入(2)所述小文件