重復(fù)和不完整數(shù)據(jù)的清理方法研究及應(yīng)用.pdf

1、隨著信息化產(chǎn)業(yè)的不斷推進(jìn)，企業(yè)積累的數(shù)據(jù)越來(lái)越多，激增的數(shù)據(jù)背后隱藏著重要信息，對(duì)企業(yè)作出正確、科學(xué)的決策，提高競(jìng)爭(zhēng)力是至關(guān)重要的。為滿足決策分析的需要，數(shù)據(jù)倉(cāng)庫(kù)應(yīng)運(yùn)而生。在數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建過(guò)程中，由于各種原因，數(shù)據(jù)倉(cāng)庫(kù)中含有重復(fù)的、不完整的以及異常的數(shù)據(jù)，即數(shù)據(jù)存在質(zhì)量問(wèn)題。高質(zhì)量的數(shù)據(jù)是決策支持的前提條件，因此，為提高數(shù)據(jù)質(zhì)量，對(duì)數(shù)據(jù)進(jìn)行清理是非常必要的。
　　 本文先論述了數(shù)據(jù)預(yù)處理的相關(guān)知識(shí)，分析了數(shù)據(jù)清理的必要性以及國(guó)內(nèi)外

2、研究現(xiàn)狀，并介紹了數(shù)據(jù)質(zhì)量和數(shù)據(jù)清理的相關(guān)理論，闡述了數(shù)據(jù)清理的定義、原理與基本流程及相關(guān)清理技術(shù)。重點(diǎn)對(duì)相似重復(fù)記錄檢測(cè)及不完整數(shù)據(jù)清理方法做了深入研究，對(duì)相關(guān)算法進(jìn)行了改進(jìn)，并在此基礎(chǔ)上設(shè)計(jì)了一個(gè)數(shù)據(jù)清理原型系統(tǒng)。本文主要工作如下：
　　 (1)在重復(fù)記錄清理中，提出一種基于內(nèi)碼序值聚類(lèi)的相似重復(fù)記錄檢測(cè)方法。該方法先選擇關(guān)鍵字段或字段某些位，根據(jù)字符的內(nèi)碼序值，利用聚類(lèi)思想將大數(shù)據(jù)集聚集成多個(gè)小數(shù)據(jù)集；再根據(jù)等級(jí)法計(jì)算各字

3、段的權(quán)值，在各個(gè)小數(shù)據(jù)集中檢測(cè)和消除相似重復(fù)記錄。為避免關(guān)鍵字選擇不當(dāng)而造成記錄漏查問(wèn)題，采用多趟檢測(cè)方法。實(shí)驗(yàn)表明該方法具有較好的檢測(cè)精度和時(shí)間效率。
　　 (2)在不完整數(shù)據(jù)清理中，提出一種基于小波聚類(lèi)加權(quán)1-NN的不完整數(shù)據(jù)清理方法。首先將數(shù)據(jù)集分成完整記錄集和不完整記錄集，然后對(duì)完整記錄集利用小波聚類(lèi)算法進(jìn)行聚類(lèi)，形成不同的子類(lèi)，再判斷不完整記錄集中記錄的可用性，利用加權(quán)1-NN方法找到不完整記錄的最近鄰子類(lèi)，最后填充不