基于云計算分布式技術(shù)的海量AIS數(shù)據(jù)挖掘系統(tǒng)設(shè)計與實(shí)現(xiàn).pdf

1、隨著海上貿(mào)易的蓬勃發(fā)展，船舶自動識別系統(tǒng)日漸普及，一方面在各個海事局及其相關(guān)系統(tǒng)中沉淀了豐富船舶航行數(shù)據(jù)，另一方面也對如何高效處理挖掘這些海量的航行數(shù)據(jù)提出了挑戰(zhàn)。而云計算和分布式技術(shù)作為一種高效的數(shù)據(jù)挖掘手段解決方案，正在越來越廣泛地應(yīng)用于各行各業(yè)，通過云計算和分布式技術(shù)釋放的高效強(qiáng)勁的計算資源可以有效的解決海事領(lǐng)域數(shù)據(jù)挖掘場景下的計算瓶頸。在這樣的背景下，本文以船舶航行中的AIS數(shù)據(jù)為研究對象，采用云計算和分布式技術(shù)，結(jié)合數(shù)據(jù)挖掘的

2、方法，設(shè)計實(shí)現(xiàn)了海量AIS數(shù)據(jù)挖掘平臺，對船舶軌跡進(jìn)行大數(shù)據(jù)分析，主要工作包括以下幾個方面:
　　(1)基于商用云計算平臺和分布式技術(shù)平臺Hadoop，設(shè)計了海量AIS數(shù)據(jù)挖掘系統(tǒng)技術(shù)解決方案和實(shí)現(xiàn)框架。開發(fā)了分布式AIS數(shù)據(jù)接收與匯總子系統(tǒng)，并通過分布式日志收集系統(tǒng)Flume對其進(jìn)行收集，保證信息的實(shí)時性和高可用性;建立了HBase分布式鍵值對數(shù)據(jù)庫，實(shí)現(xiàn)海量數(shù)據(jù)高并發(fā)寫入和及時查詢的需求;實(shí)現(xiàn)了基于聯(lián)機(jī)處理能力(OLAP)的分

3、布式數(shù)據(jù)倉庫，用于各種粒度的AIS數(shù)據(jù)交互式分析。
　　(2)在云計算分布式環(huán)境下，設(shè)計并實(shí)現(xiàn)了分布式計算的并行DBSCAN算法，采用KD樹空間劃分算法劃分空間數(shù)據(jù)，用于對海量船舶運(yùn)行軌跡的挖掘與分析。為了實(shí)現(xiàn)對海上交通流態(tài)勢的實(shí)時感知和異常報警，設(shè)計了利用Spark流式計算實(shí)現(xiàn)對監(jiān)控水域船舶實(shí)時聚類分析的技術(shù)方案。
　　(3)采用舟山海區(qū)的歷史數(shù)據(jù)和老鐵山水道的實(shí)時AIS數(shù)據(jù)對系統(tǒng)進(jìn)行實(shí)例驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，在大規(guī)模數(shù)據(jù)的