數(shù)據(jù)清洗技術(shù)研究及清洗框架的設(shè)計與實現(xiàn).pdf

1、學(xué)校代碼：10126分類號：TP311論文題目學(xué)號：蘭!蘭魚Q!窆編號：——數(shù)據(jù)清洗技術(shù)研究及清洗框架的設(shè)計與實現(xiàn)學(xué)院：電子信息工程學(xué)院專業(yè)：模式識別與智能系統(tǒng)研究方向：過程控制與工業(yè)控制網(wǎng)絡(luò)姓名：王江指導(dǎo)教師：趙子先2016年4月25日數(shù)據(jù)清洗技術(shù)研究及清洗框架的設(shè)計與實現(xiàn)摘要在當今信息化時代的背景下，數(shù)據(jù)對于各行業(yè)發(fā)展的重要性不言而喻。由于數(shù)據(jù)來源的廣泛性和數(shù)據(jù)模型定義的無關(guān)性，在整合數(shù)據(jù)源數(shù)據(jù)，尤其是整合多數(shù)據(jù)源數(shù)據(jù)時，常常會暴露

2、出嚴重的數(shù)據(jù)質(zhì)量問題。這些數(shù)據(jù)質(zhì)量問題常常會導(dǎo)致錯誤決策的制定，使信息驅(qū)動型應(yīng)用失去潛在的效益。所以數(shù)據(jù)質(zhì)量越來越受到人們的關(guān)注，作為提高數(shù)據(jù)質(zhì)量有效手段的數(shù)據(jù)清洗技術(shù)得到了廣泛的研究和發(fā)展。論文所做的主要工作包括以下三部分：第一部分，闡述了當前數(shù)據(jù)清洗在國內(nèi)外的研究狀況，論述了數(shù)據(jù)質(zhì)量的概念，對數(shù)據(jù)質(zhì)量問題的分類進行了討論，并分析了多種造成數(shù)據(jù)質(zhì)量問題的原因。同時闡述了數(shù)據(jù)清洗的概念、原理及一般過程。第二部分，著重研究了幾種重復(fù)數(shù)據(jù)清