基于云計(jì)算分布式技術(shù)的海量AIS數(shù)據(jù)挖掘系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著海上貿(mào)易的蓬勃發(fā)展，船舶自動(dòng)識(shí)別系統(tǒng)日漸普及，一方面在各個(gè)海事局及其相關(guān)系統(tǒng)中沉淀了豐富船舶航行數(shù)據(jù)，另一方面也對(duì)如何高效處理挖掘這些海量的航行數(shù)據(jù)提出了挑戰(zhàn)。而云計(jì)算和分布式技術(shù)作為一種高效的數(shù)據(jù)挖掘手段解決方案，正在越來越廣泛地應(yīng)用于各行各業(yè)，通過云計(jì)算和分布式技術(shù)釋放的高效強(qiáng)勁的計(jì)算資源可以有效的解決海事領(lǐng)域數(shù)據(jù)挖掘場(chǎng)景下的計(jì)算瓶頸。在這樣的背景下，本文以船舶航行中的AIS數(shù)據(jù)為研究對(duì)象，采用云計(jì)算和分布式技術(shù)，結(jié)合數(shù)據(jù)挖掘的

2、方法，設(shè)計(jì)實(shí)現(xiàn)了海量AIS數(shù)據(jù)挖掘平臺(tái)，對(duì)船舶軌跡進(jìn)行大數(shù)據(jù)分析，主要工作包括以下幾個(gè)方面:
　　(1)基于商用云計(jì)算平臺(tái)和分布式技術(shù)平臺(tái)Hadoop，設(shè)計(jì)了海量AIS數(shù)據(jù)挖掘系統(tǒng)技術(shù)解決方案和實(shí)現(xiàn)框架。開發(fā)了分布式AIS數(shù)據(jù)接收與匯總子系統(tǒng)，并通過分布式日志收集系統(tǒng)Flume對(duì)其進(jìn)行收集，保證信息的實(shí)時(shí)性和高可用性;建立了HBase分布式鍵值對(duì)數(shù)據(jù)庫，實(shí)現(xiàn)海量數(shù)據(jù)高并發(fā)寫入和及時(shí)查詢的需求;實(shí)現(xiàn)了基于聯(lián)機(jī)處理能力(OLAP)的分

3、布式數(shù)據(jù)倉庫，用于各種粒度的AIS數(shù)據(jù)交互式分析。
　　(2)在云計(jì)算分布式環(huán)境下，設(shè)計(jì)并實(shí)現(xiàn)了分布式計(jì)算的并行DBSCAN算法，采用KD樹空間劃分算法劃分空間數(shù)據(jù)，用于對(duì)海量船舶運(yùn)行軌跡的挖掘與分析。為了實(shí)現(xiàn)對(duì)海上交通流態(tài)勢(shì)的實(shí)時(shí)感知和異常報(bào)警，設(shè)計(jì)了利用Spark流式計(jì)算實(shí)現(xiàn)對(duì)監(jiān)控水域船舶實(shí)時(shí)聚類分析的技術(shù)方案。
　　(3)采用舟山海區(qū)的歷史數(shù)據(jù)和老鐵山水道的實(shí)時(shí)AIS數(shù)據(jù)對(duì)系統(tǒng)進(jìn)行實(shí)例驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，在大規(guī)模數(shù)據(jù)的