數(shù)據(jù)清洗關(guān)鍵技術(shù)研究及在工商信用服務(wù)平臺上的應(yīng)用.pdf

1、在對網(wǎng)絡(luò)交易中的信用主體進(jìn)行信用評估時，需要對分散在各機(jī)構(gòu)中的基礎(chǔ)信用信息進(jìn)行整合。在對信用信息的處理過程中，由于各機(jī)構(gòu)對信息的表達(dá)方式不盡相同，因此需要對采集來的數(shù)據(jù)進(jìn)行清洗，特別是要對數(shù)據(jù)庫字段不匹配和數(shù)據(jù)重復(fù)冗余等現(xiàn)象進(jìn)行處理。
　　 本文針對多數(shù)據(jù)源中數(shù)據(jù)庫字段不匹配的問題，提出一種基于領(lǐng)域知識的字段映射方法，對字段進(jìn)行分類，并從字段的基本信息和實例的內(nèi)容信息進(jìn)行分析，最終得出所比較字段的相似性，從而識別出不同的數(shù)據(jù)庫模

2、式中表達(dá)相同含義的重復(fù)字段，并能夠?qū)σ院蟮淖侄斡成涮峁┯行У闹危詈笸ㄟ^引入信用領(lǐng)域的相關(guān)知識對各機(jī)構(gòu)的數(shù)據(jù)庫字段進(jìn)行映射，驗證了本方法的實用性。本文針對已映射字段中的重復(fù)記錄問題，提出了一種新的重復(fù)記錄檢測算法，該算法是對MPN(多趟鄰近排序)算法的改進(jìn)，并通過改進(jìn)的相似度計算方法判斷兩條記錄的重復(fù)程度，從而檢測出隱含的數(shù)據(jù)重復(fù)冗余問題，最終通過對實際信用數(shù)據(jù)的處理，驗證了該算法的正確性，為半自動化檢測多數(shù)據(jù)源數(shù)據(jù)集成過程中出現(xiàn)的數(shù)