分布式數(shù)據(jù)倉庫中ETL技術(shù)的研究.pdf

1、隨著企業(yè)規(guī)模的擴(kuò)大，業(yè)務(wù)不斷向多個(gè)地區(qū)擴(kuò)展，許多企業(yè)的運(yùn)作模式形成一種分布式管理結(jié)構(gòu)。另外，由于歷史、地理、經(jīng)濟(jì)等諸多原因，企業(yè)內(nèi)部存在許多不兼容的、相互獨(dú)立的事務(wù)處理系統(tǒng)，需要對分散在這些系統(tǒng)中的相關(guān)數(shù)據(jù)進(jìn)行集成，以向分析決策人員提供統(tǒng)一的數(shù)據(jù)視圖，分布式數(shù)據(jù)倉庫應(yīng)運(yùn)而生。數(shù)據(jù)的抽取、轉(zhuǎn)換和加載(ETL)是創(chuàng)建數(shù)據(jù)倉庫系統(tǒng)的重要環(huán)節(jié)。ETL技術(shù)一直是分布式數(shù)據(jù)倉庫中的研究熱點(diǎn)。
　　首先，介紹了數(shù)據(jù)倉庫和ETL的基本概念，指出E

2、TL在數(shù)據(jù)倉庫創(chuàng)建過程中的重要性；對分布式數(shù)據(jù)倉庫的體系結(jié)構(gòu)、分類及開發(fā)策略進(jìn)行了論述；重點(diǎn)對：ETL和分布式ETL進(jìn)行了對比，指出了分布式ETL中的主要問題，主要體現(xiàn)在數(shù)據(jù)一致性維護(hù)和數(shù)據(jù)轉(zhuǎn)換效率兩個(gè)方面。
　　其次，在分布式數(shù)據(jù)倉庫環(huán)境下，每個(gè)局部數(shù)據(jù)倉庫都是一個(gè)獨(dú)立的ETL節(jié)點(diǎn)。考慮到數(shù)據(jù)副本的存在，因而分布式數(shù)據(jù)倉庫的ETL是針對多個(gè)目標(biāo)源的，若此時(shí)還是采用傳統(tǒng)集中式ETL的體系結(jié)構(gòu)就會(huì)出現(xiàn)局部節(jié)點(diǎn)數(shù)據(jù)倉庫數(shù)據(jù)不一致的問題

3、。在分析了集中式ETL體系結(jié)構(gòu)的基礎(chǔ)上，提出了一種改進(jìn)的分布式ETL體系結(jié)構(gòu)-ETLM，較好的解決了分布式ETL中的數(shù)據(jù)一致性問題。
　　第三，分布式數(shù)據(jù)倉庫有多個(gè)局部ETL節(jié)點(diǎn)，處理的是海量數(shù)據(jù)，并且數(shù)據(jù)轉(zhuǎn)換完后要加載到多個(gè)局部數(shù)據(jù)倉庫之中，傳統(tǒng)的數(shù)據(jù)抽取和轉(zhuǎn)換技術(shù)在響應(yīng)時(shí)間和轉(zhuǎn)換效率等方面存在諸多不足。根據(jù)OLAP和DM的實(shí)際需求，提出了一種基于數(shù)據(jù)分割策略和負(fù)載均衡技術(shù)相結(jié)合的分布式ETL執(zhí)行優(yōu)化策略，把分布式的技術(shù)與ETL