基于軟件總線模型的數(shù)據(jù)清洗系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著信息技術(shù)的飛速發(fā)展，獲取數(shù)據(jù)手段也更加多樣化，人們現(xiàn)在所擁有的數(shù)據(jù)資源日益豐富，數(shù)據(jù)量急劇增加。但是海量的數(shù)據(jù)并不一定真正具有價(jià)值，數(shù)據(jù)的價(jià)值在于它的質(zhì)量，基于劣質(zhì)數(shù)據(jù)的決策是不可信的?；跀?shù)據(jù)所做的進(jìn)一步挖掘和決策與數(shù)據(jù)質(zhì)量直接相關(guān)。但是面對(duì)數(shù)量巨大而零亂的數(shù)據(jù)人工處理是非常困難的，數(shù)據(jù)質(zhì)量問(wèn)題成為制約數(shù)據(jù)應(yīng)用和數(shù)據(jù)挖掘的“瓶頸”之一。糾正數(shù)據(jù)錯(cuò)誤是避免錯(cuò)誤決策、降低決策風(fēng)險(xiǎn)，改善數(shù)據(jù)挖掘效果的重要環(huán)節(jié)，數(shù)據(jù)清洗就是用來(lái)完成這項(xiàng)艱

2、巨任務(wù)的。
　　 本文在現(xiàn)有的數(shù)據(jù)清洗方法基礎(chǔ)上，從滿足現(xiàn)代軟件工程理念的角度出發(fā)，嘗試性地設(shè)計(jì)并實(shí)現(xiàn)了一種基于軟件總線模型的數(shù)據(jù)清洗系統(tǒng)，將具體的數(shù)據(jù)清洗方法以組件的形式集成到系統(tǒng)中來(lái)，并能夠適用于對(duì)多種異構(gòu)數(shù)據(jù)源的數(shù)據(jù)清洗。系統(tǒng)具有很好的可復(fù)用性和可擴(kuò)展性。
　　 本文完成的主要工作內(nèi)容如下：
　　 ①分析了本文的相關(guān)研究背景，數(shù)據(jù)清洗的相關(guān)知識(shí)以及現(xiàn)階段國(guó)內(nèi)外數(shù)據(jù)清洗研究現(xiàn)狀，介紹國(guó)內(nèi)外現(xiàn)有的數(shù)據(jù)清洗方法和

3、數(shù)據(jù)清洗產(chǎn)品。
　　 ②分析了XML用于系統(tǒng)集成和數(shù)據(jù)載體的優(yōu)勢(shì)，比較XML有效性驗(yàn)證方式以及文檔解析方法；介紹了數(shù)據(jù)庫(kù)訪問(wèn)ADO.NET技術(shù)，分析ADO.NET的結(jié)構(gòu)和不同數(shù)據(jù)讀取方式的特點(diǎn)；介紹中文信息處理中的中文分詞技術(shù)，分析比較三種主要中文分詞方法的效果。
　　 ③研究了在系統(tǒng)中涉及到的關(guān)鍵技術(shù)。首先，分析了軟件總線模型的結(jié)構(gòu)特點(diǎn)，研究了軟件總線中組件管理方式和總線控制方法。其次，研究了對(duì)數(shù)據(jù)清洗任務(wù)分解的方法，

4、分析了多線程并發(fā)技術(shù)，并將其用于對(duì)數(shù)據(jù)清洗任務(wù)并發(fā)執(zhí)行，通過(guò)實(shí)驗(yàn)驗(yàn)證其效果；最后，研究了中文地址數(shù)據(jù)清洗方法，結(jié)合中文地址的特點(diǎn)，提出一種基于分級(jí)樹(shù)的中文地址規(guī)范化方法，并通過(guò)實(shí)驗(yàn)對(duì)其效果進(jìn)行比較。
　　 ④設(shè)計(jì)并實(shí)現(xiàn)了基于軟件總線模型的數(shù)據(jù)清洗系統(tǒng)。首先對(duì)系統(tǒng)整體描述，其次對(duì)于系統(tǒng)整個(gè)結(jié)構(gòu)進(jìn)行分析設(shè)計(jì)，對(duì)系統(tǒng)按照功能結(jié)構(gòu)分為數(shù)據(jù)清洗總線，數(shù)據(jù)源包裝器，數(shù)據(jù)清洗組件和組件適配器等模塊，然后分別對(duì)每個(gè)模塊進(jìn)行設(shè)計(jì)和實(shí)現(xiàn)，最后對(duì)系統(tǒng)