基于逆向清理的實(shí)時(shí)數(shù)據(jù)整合及數(shù)據(jù)準(zhǔn)確度評估.pdf

1、隨著信息技術(shù)的不斷發(fā)展，數(shù)據(jù)在不斷涌現(xiàn)，并呈現(xiàn)異構(gòu)、自治等特點(diǎn)，企業(yè)如何高效、正確的分析數(shù)據(jù)成為當(dāng)前重要的課題。在數(shù)據(jù)的時(shí)效方面，要求數(shù)據(jù)更新的頻率越來越快，傳統(tǒng)的數(shù)據(jù)集成方法一般是每天、每周甚至每個(gè)月更新一次，這遠(yuǎn)遠(yuǎn)滿足不了現(xiàn)在的需求；在數(shù)據(jù)的質(zhì)量方面，盡管有大量的可用數(shù)據(jù)，但數(shù)據(jù)的質(zhì)量一直是個(gè)困擾的難點(diǎn)，很多企業(yè)為了更準(zhǔn)確的制定決策，花費(fèi)大量的人力物力來提高他們的數(shù)據(jù)質(zhì)量，但依然收效甚微。
　　異構(gòu)數(shù)據(jù)的整合技術(shù)和數(shù)據(jù)質(zhì)量應(yīng)該

2、無縫的協(xié)同工作，數(shù)據(jù)整合過程是一個(gè)持續(xù)的過程，數(shù)據(jù)質(zhì)量也是一樣。目前在構(gòu)建數(shù)據(jù)整合系統(tǒng)中面臨的最大困難是如何解決數(shù)據(jù)的實(shí)時(shí)更新和數(shù)據(jù)準(zhǔn)確度問題。
　　針對數(shù)據(jù)實(shí)時(shí)更新問題，本文在傳統(tǒng)ETL過程的基礎(chǔ)上，利用適配器、實(shí)時(shí)線程等技術(shù)來判斷時(shí)間戳，建立實(shí)時(shí)的數(shù)據(jù)裝載模式。一旦原數(shù)據(jù)進(jìn)行了更新，便實(shí)時(shí)的將數(shù)據(jù)裝載到數(shù)據(jù)中心。針對數(shù)據(jù)的質(zhì)量問題，本文提出一種數(shù)據(jù)逆向清理的方法，它利用數(shù)據(jù)整合過程中構(gòu)建的數(shù)據(jù)來源樹，在逆向清理時(shí)快速的查找原始

3、數(shù)據(jù)的位置，并對原始數(shù)據(jù)進(jìn)行反向清洗、匹配和修改，使原始數(shù)據(jù)的質(zhì)量得到提高，為平臺提供高質(zhì)量的數(shù)據(jù)基礎(chǔ)。
　　此外，在數(shù)據(jù)的質(zhì)量評估方面，本文在貝葉斯網(wǎng)絡(luò)、PC算法的基礎(chǔ)上提出一種數(shù)據(jù)準(zhǔn)確度評估方法-DAA方法，該方法通過對數(shù)據(jù)集構(gòu)建網(wǎng)絡(luò)，利用PC算法消除獨(dú)立節(jié)點(diǎn)的邊，再計(jì)算網(wǎng)絡(luò)的平均度數(shù)的方法，能實(shí)現(xiàn)對兩個(gè)數(shù)據(jù)集的準(zhǔn)確度對比判斷。本文對兩個(gè)已知的貝葉斯網(wǎng)絡(luò)運(yùn)用DAA方法，并比較網(wǎng)絡(luò)的度數(shù)得分來驗(yàn)證該方法的有效性。該方法的提出對人

4、工智能和知識發(fā)現(xiàn)具有一定的研究意義。
　　最后，對基于逆向清理的異構(gòu)數(shù)據(jù)整合模型，在本地搜索服務(wù)項(xiàng)目中進(jìn)行實(shí)際運(yùn)用。本文設(shè)計(jì)并實(shí)現(xiàn)了商家數(shù)據(jù)整合系統(tǒng)的原型，并利用系統(tǒng)原型對數(shù)據(jù)整合過程和逆向清理過程進(jìn)行實(shí)驗(yàn)驗(yàn)證，通過實(shí)地驗(yàn)證比較了原始數(shù)據(jù)整合前后和逆向清理前后的數(shù)據(jù)準(zhǔn)確度。實(shí)驗(yàn)結(jié)果表明，實(shí)驗(yàn)證明整合后的數(shù)據(jù)準(zhǔn)確度明顯高于原始數(shù)據(jù)，提高平均值達(dá)到14.8％；且逆向清理后，原始數(shù)據(jù)的準(zhǔn)確度平均提高了5.15％。實(shí)驗(yàn)結(jié)果充分說明了數(shù)據(jù)整