船舶監(jiān)控系統(tǒng)中實時數(shù)據(jù)清洗技術(shù)研究.pdf

1、隨著航運船舶數(shù)量的逐年增加，人們對船舶航行安全的要求也在不斷提高。對船舶設(shè)備運行狀態(tài)進(jìn)行實時監(jiān)控是確保船舶安全運行的主要技術(shù)手段之一。由于船舶設(shè)備數(shù)量大、型號多、工作環(huán)境惡劣和采集儀器自身誤差，導(dǎo)致采集到的監(jiān)控數(shù)據(jù)中不可避免地存在冗余、缺失等問題，影響對船舶設(shè)備運行狀態(tài)的正確判斷。因此本文重點研究船舶監(jiān)控系統(tǒng)中實時數(shù)據(jù)清洗技術(shù)，主要解決監(jiān)控數(shù)據(jù)中的冗余問題和缺失問題。本文主要研究內(nèi)容如下：
　?。?）進(jìn)行了船舶監(jiān)控系統(tǒng)的需求分析，

2、設(shè)計了系統(tǒng)的總體框架，闡述了系統(tǒng)的關(guān)鍵技術(shù)。
　?。?）針對船舶采集數(shù)據(jù)中的冗余問題，提出一種基于SNM的改進(jìn)冗余數(shù)據(jù)消除算法。針對傳統(tǒng)SNM算法中滑動窗口大小難以選取的問題，采用可伸縮和可變速窗口，在對記錄進(jìn)行匹配時既可以避免漏配，也減少了不必要的記錄比較。對于原算法中字段匹配準(zhǔn)確率不高的問題，采用余弦相似度匹配算法，提高匹配精度。在記錄比較過程中提出Top-k有效權(quán)重過濾算法，減少字段匹配次數(shù)，提高檢測效率。經(jīng)過實驗證明該優(yōu)化

3、算法無論在召回率還是準(zhǔn)確率上都取得了良好的應(yīng)用效果。
　?。?）針對船舶采集數(shù)據(jù)中的缺失問題，提出一種基于KNN的改進(jìn)缺失數(shù)據(jù)填補算法。傳統(tǒng)KNN算法在每一次計算樣本距離時都需要考慮整個樣本集，在處理高維數(shù)據(jù)時時間消耗大，針對此缺陷提出改進(jìn)的復(fù)相關(guān)系數(shù)倒數(shù)賦權(quán)法對數(shù)據(jù)集進(jìn)行簡化操作，大大降低計算復(fù)雜度。對于KNN算法中歐式距離在計算K個近鄰時存在的不足，提出將馬氏距離與灰色關(guān)聯(lián)分析兩類方法相結(jié)合，使樣本中離散型和連續(xù)型屬性值都得到