應用于數(shù)據(jù)質(zhì)量核查的幾項數(shù)據(jù)挖掘技術研究.pdf

1、質(zhì)量低劣的數(shù)據(jù)已經(jīng)成為影響企業(yè)正確決策的關鍵因素,成為制約信息服務的瓶頸。因此,如何高效的管理數(shù)據(jù),提高數(shù)據(jù)質(zhì)量,使其成為決策部門的有效依據(jù),是具有較高研究價值和實際意義的問題。本文由此背景出發(fā),根據(jù)不同類型的數(shù)據(jù)錯誤,采用相應檢測方法,并通過實現(xiàn)具體程序,驗證方法的有效性。
　　 本文首先介紹了數(shù)據(jù)質(zhì)量的定義、分類、評價指標以及數(shù)據(jù)質(zhì)量提高技術。然后總結(jié)了數(shù)據(jù)清洗技術的原理方法。最后針對不同的數(shù)據(jù)錯誤類型,給出了相應的解決方法

2、。本文重點給出了異常數(shù)據(jù)和相似重復記錄的檢測方法。
　　 本文充分考慮數(shù)據(jù)內(nèi)部之間的聯(lián)系,采用基于關聯(lián)規(guī)則的思想對異常數(shù)據(jù)進行檢測。首先,將數(shù)據(jù)集中的數(shù)據(jù)進行轉(zhuǎn)換,使其滿足關聯(lián)規(guī)則挖掘的條件；然后,在訓練集中找出所有的頻繁項集,由頻繁項集生成關聯(lián)規(guī)則,并將其放入規(guī)則庫；最后,將測試集中的記錄與規(guī)則庫中的規(guī)則進行比對,以此判斷記錄是否異常。通過實驗證明此方法檢測異常數(shù)據(jù)效果良好。
　　 本文采用基于權值分組的方法來檢測相似