數據預處理算法的研究與應用.pdf

1、隨著信息時代的來臨，人類在各種領域中面臨著越來越多的數據信息，與此同時，這些數據的規(guī)模還在以驚人的速度不斷增長。因此，為了提高工作效率和生活質量，人們必須獲取蘊藏在這些數據中的有價值信息。為了達到這個目的，人們開始致力于從數據庫中挖掘知識的研究。然而，眾所周知，數據庫中往往存在冗余數據、缺失數據、不確定數據和不一致數據等諸多情況，這些數據成了發(fā)現知識的一大障礙。因此，在從數據庫中挖掘知識之前必須對數據進行預處理。 本論文著重研究

2、數據挖掘中的數據預處理技術，尤其是數據清洗技術，并實現了數據挖掘試驗平臺(DataMiningLaboratory,DMLab)的數據預處理模塊的功能。 首先對數據預處理知識做了全面和詳細的描述，介紹了數據預處理的研究背景、定義和主要的預處理技術研究現狀等。然后對現有的數據預處理技術進行了深入的分析，涉及到數據清洗、數據選樣、數據變換和數據歸約等技術。之后重點對缺失值填充技術及各種填充算法進行了深入地研究和探討，并提出了基于聚類

3、技術的缺失值填充法。最后，在前面討論的各種技術的基礎上，實現了數據挖掘試驗平臺的數據預處理模塊功能，主要包括數據清洗、數據選樣、數據轉換、數據歸約等功能。 在對數據預處理技術進行的研究中，著重介紹了缺失值清洗的基本知識和方法，并探討了當前缺失值清洗技術，客觀地評價了它們的優(yōu)缺點。本文對目前廣泛應用的各種數據預處理技術進行了深入的研究，并在此基礎上完成了DMLab系統(tǒng)中數據預處理模塊的設計和實現，既根據系統(tǒng)需要實現了部分基礎的預處