數(shù)據(jù)清洗解決方案及其元數(shù)據(jù)管理.pdf

1、本文針對(duì)Intel的DSS工具Cockpit目前存在少量數(shù)據(jù)特別是產(chǎn)品定義數(shù)據(jù)不完全干凈，就數(shù)據(jù)清洗的技術(shù)關(guān)鍵，從元數(shù)據(jù)管理和在該元數(shù)據(jù)模型基礎(chǔ)上的開發(fā)實(shí)踐兩個(gè)方面，提出了基于元數(shù)據(jù)管理的數(shù)據(jù)清洗解決方案?；獢?shù)據(jù)管理的設(shè)計(jì)思想包括：元數(shù)據(jù)是數(shù)據(jù)的數(shù)據(jù), 它描述了數(shù)據(jù)的內(nèi)容, 質(zhì)量、情況和其他特性。在本文的元數(shù)據(jù)模型中，把知識(shí)元數(shù)據(jù)分為邏輯和信息兩大類。邏輯是一種規(guī)則，是加工信息的具體方法，由設(shè)計(jì)人員進(jìn)行具體設(shè)計(jì)和實(shí)現(xiàn)。信息是對(duì)現(xiàn)實(shí)世

2、界中具體事物的抽象反映，可以由程序自動(dòng)更新。具體Cockpit數(shù)據(jù)清洗過程的實(shí)現(xiàn)采用了上述基于元數(shù)據(jù)管理的模型，包括對(duì)Cockpit數(shù)據(jù)清洗過程中的業(yè)務(wù)邏輯進(jìn)行分析，設(shè)計(jì)Cockpit的數(shù)據(jù)清洗流程，實(shí)現(xiàn)數(shù)據(jù)清洗算法。該流程和算法實(shí)現(xiàn)了異常數(shù)據(jù)的判斷規(guī)則，自動(dòng)對(duì)數(shù)據(jù)進(jìn)行檢驗(yàn)，對(duì)異常數(shù)據(jù)進(jìn)行分類，用簡單的數(shù)據(jù)挖掘算法實(shí)現(xiàn)對(duì)數(shù)據(jù)字典自動(dòng)更新，并以Email形式自動(dòng)通知相關(guān)人員，最終達(dá)到增強(qiáng)數(shù)據(jù)清洗能力，提供更準(zhǔn)確的數(shù)據(jù)并簡化維護(hù)工作量的目