matlab學習系列012. 數據預處理1剔除異常值及平滑處理

1、012. 數據預處理（1）——剔除異常值及平滑處理測量數據在其采集與傳輸過程中，由于環(huán)境干擾或人為因素有可能造成個別數據不切合實際或丟失，這種數據稱為異常值。為了恢復數據的客觀真實性以便將來得到更好的分析結果，有必要先對原始數據（1）剔除異常值；另外，無論是人工觀測的數據還是由數據采集系統(tǒng)獲取的數據，都不可避免疊加上“噪聲”干擾（反映在曲線圖形上就是一些“毛刺和尖峰”）。為了提高數據的質量，必須對數據進行（2）平滑處理（去噪聲干擾）；（

2、一）剔除異常值。注：若是有空缺值，或導入 Matlab 數據顯示為“NaN”（非數），需要①忽略整條空缺值數據，或者②填上空缺值。填空缺值的方法，通常有兩種：A. 使用樣本平均值填充；B. 使用判定樹或貝葉斯分類等方法推導最可能的值填充（略）。一、基本思想：規(guī)定一個置信水平，確定一個置信限度，凡是超過該限度的誤差，就認為它是異常值，從而予以剔除。二、常用方法：拉依達方法、肖維勒方法、一階差分法。注意：這些方法都是假設數據依正態(tài)分布為前提

3、的。1. 拉依達方法（非等置信概率）如果某測量值與平均值之差大于標準偏差的三倍，則予以剔除。其中，為樣本均值，為樣本的標準偏差。注：適合大樣本數據，建議測量次數≥50 次。代碼實例（略）。2. 肖維勒方法（等置信概率）在 n 次測量結果中，如果某誤差可能出現的次數小于半次時，1.5034 1.5062 1.5034 1.5024 1.4985 2.5000 1.5007 1.5067 1.

4、49931.4969y =1.5034 1.5062 1.5034 1.5024 1.4985 1.5007 1.5067 1.4993 1.49693. 一階差分法（預估比較法）用前兩個測量值來預估新的測量值，然后用預估值與實際測量值比較，若大于事先給定的允許差限值，則剔除該測量值。預估值比較判別：注：該方法的特點是（1）適合于實時數據采集與處理過程；（2）精度除了與允許誤差限的大小有關