基于海洋平臺監(jiān)測的流數(shù)據(jù)管理研究.pdf

1、海洋平臺在遠離陸地、惡劣環(huán)境、極端天氣、網(wǎng)絡(luò)條件差等諸多苛刻的不利條件下實施監(jiān)測，監(jiān)測生成的流數(shù)據(jù)來源各異、數(shù)量巨大、快速實時、結(jié)構(gòu)多樣、瞬時變化，管理技術(shù)要求越來越高，許多傳統(tǒng)管理方法和模式不能滿足需求，如何科學(xué)有效地管理海洋平臺監(jiān)測流數(shù)據(jù)研究成果和實踐經(jīng)驗相對較少，也正是當(dāng)前亟待解決的問題。
　　本文總結(jié)了海洋平臺監(jiān)測流數(shù)據(jù)的特點和相關(guān)特性的變化，國內(nèi)外流數(shù)據(jù)遠程傳輸、規(guī)范化處理、分布式存儲和管理系統(tǒng)的研究現(xiàn)狀以及存在的主要問

2、題，提出了基于反饋機制和MD5碼檢測的流數(shù)據(jù)遠程傳輸技術(shù)，通過發(fā)送端傳輸?shù)臄?shù)據(jù)文件的MD5碼和接收端生成的MD5碼一致性檢驗，保證了流數(shù)據(jù)傳輸?shù)耐暾院鸵恢滦?建立了一個包含所有可能情況的數(shù)據(jù)規(guī)范處理方式的監(jiān)測流數(shù)據(jù)修復(fù)函數(shù)庫和數(shù)據(jù)格式信息表，實現(xiàn)了對監(jiān)測流數(shù)據(jù)錯誤、丟失、無序、噪聲等問題的處理和對格式、范圍、標(biāo)準(zhǔn)不一致統(tǒng)一規(guī)范;基于Hadoop搭建了監(jiān)測流數(shù)據(jù)分布式存儲平臺，為高效查詢分析數(shù)據(jù)提供服務(wù)。
　　針對現(xiàn)實應(yīng)用的實際需