在數(shù)據(jù)清洗過程中基于MMDB的數(shù)據(jù)匹配技術(shù)研究.pdf

1、本論文所討論的數(shù)據(jù)清洗是通過對(duì)數(shù)據(jù)庫(kù)海量數(shù)據(jù)冗余信息的匹配、探測(cè)并去除錯(cuò)誤數(shù)據(jù)和矛盾數(shù)據(jù)、提高數(shù)據(jù)質(zhì)量的過程。數(shù)據(jù)質(zhì)量問題出現(xiàn)在多個(gè)數(shù)據(jù)集合之間。由于出現(xiàn)數(shù)據(jù)輸入錯(cuò)誤、數(shù)據(jù)源異構(gòu)、數(shù)據(jù)表示方法通用性差等情況，從而導(dǎo)致現(xiàn)有的數(shù)據(jù)庫(kù)中存在這樣或那樣的“臟數(shù)據(jù)”。這些“臟數(shù)據(jù)”大大地干擾了數(shù)據(jù)處理結(jié)果的正確性、有效性和利用率?！皵?shù)據(jù)清洗”利用數(shù)理統(tǒng)計(jì)、數(shù)據(jù)挖掘和預(yù)定義行業(yè)專家?guī)斓燃夹g(shù)，將“臟數(shù)據(jù)"轉(zhuǎn)化為滿足數(shù)據(jù)質(zhì)量要求的數(shù)據(jù)。為此，“數(shù)據(jù)清洗

2、”過程在銀行、電信、移動(dòng)的海量數(shù)據(jù)管理和維護(hù)中顯得越來(lái)越重要。 數(shù)據(jù)清洗過程可大致分為：數(shù)據(jù)解析、數(shù)據(jù)格式規(guī)范化、數(shù)據(jù)匹配、數(shù)據(jù)修正、清洗結(jié)果檢查這5個(gè)比較大的步驟。本文主要討論的焦點(diǎn)在于海量數(shù)據(jù)的數(shù)據(jù)匹配問題，利用現(xiàn)在發(fā)展比較迅速的內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)(Main Memory DatabaseSystem，MMDB)的相關(guān)技術(shù)，根據(jù)數(shù)據(jù)匹配的一些特殊性，提出了一種MDB-樹索引結(jié)構(gòu)，以及該索引結(jié)構(gòu)下的插入算法和查詢算法。數(shù)據(jù)匹配從一

3、定程度上可以說是數(shù)據(jù)庫(kù)記錄的精確匹配查詢。傳統(tǒng)的數(shù)據(jù)庫(kù)查詢優(yōu)化的關(guān)注點(diǎn)是減少訪問磁盤數(shù)據(jù)的I/O次數(shù)。面對(duì)數(shù)據(jù)清洗中海量數(shù)據(jù)匹配查詢，以前舊的DRDB(Disk-Resident Database)已經(jīng)不再適用。隨著計(jì)算機(jī)硬件技術(shù)的發(fā)展，在內(nèi)存中存貯整個(gè)數(shù)據(jù)庫(kù)數(shù)據(jù)已經(jīng)成為可能。這使得內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)(Main MemoryDatabase System，MMDB)近年來(lái)發(fā)展迅速。它把所有數(shù)據(jù)都放入內(nèi)存中，避免了在查詢過程中大量的磁盤I/O

4、操作，在一定程度上提高了查詢的執(zhí)行時(shí)間。 在MMDB上，由于沒有磁盤的I/O操作，因此提高數(shù)據(jù)匹配效率的關(guān)鍵變成了處理器的計(jì)算時(shí)間和緩存的有效利用率。處理該問題的方法很多，其中一種方法就是建立合理的數(shù)據(jù)索引結(jié)構(gòu)，減少查詢過程中的匹配失效，從而縮短處理器的執(zhí)行時(shí)間。本文詳細(xì)研究了現(xiàn)在數(shù)據(jù)庫(kù)的數(shù)據(jù)索引結(jié)構(gòu)，并根據(jù)數(shù)據(jù)匹配的一些特殊性，提出了一種MDB-樹(Main Delicate B-tree)索引結(jié)構(gòu)，以及該索引結(jié)構(gòu)下的插入算法