高效ETL新方法的研究及基于SQL和元數(shù)據(jù)的ETL引擎的實(shí)現(xiàn).pdf

1、隨著互連網(wǎng)和數(shù)據(jù)庫技術(shù)的不斷發(fā)展，經(jīng)濟(jì)全球化帶來的企業(yè)競爭不斷加劇，越來越多的企業(yè)想構(gòu)建自己的數(shù)據(jù)倉庫系統(tǒng)，對企業(yè)大量分散和異構(gòu)的數(shù)據(jù)進(jìn)行整合，期望從中獲得更多有用的信息，來提升企業(yè)的競爭力。數(shù)據(jù)倉庫系統(tǒng)的基本功能應(yīng)包括數(shù)據(jù)獲取、數(shù)據(jù)存儲、數(shù)據(jù)訪問三個關(guān)鍵部分。把不同來源、格式、特點(diǎn)的數(shù)據(jù)在邏輯上或物理上有機(jī)地集中，從而為企業(yè)提供全面的數(shù)據(jù)共享，這就是數(shù)據(jù)集成的概念。數(shù)據(jù)集成研究中最重要的就是對ETL方法的研究。 本研究的重點(diǎn)是

2、ETL的實(shí)現(xiàn)方法。現(xiàn)有的ETL方法主要是通過中央引擎來處理數(shù)據(jù)，這種方式造成性能上的瓶頸，增加網(wǎng)絡(luò)的負(fù)荷，并且不具有良好的可伸縮性和可擴(kuò)展性。同時現(xiàn)有的ETL工具也不適合大量ETL業(yè)務(wù)規(guī)則的開發(fā)。如何實(shí)現(xiàn)高效的ETL引擎是本文研究的重點(diǎn)。 目前企業(yè)數(shù)據(jù)環(huán)境是以關(guān)系型數(shù)據(jù)庫和數(shù)據(jù)倉庫為主，而且數(shù)據(jù)庫系統(tǒng)的功能逐漸強(qiáng)大，數(shù)據(jù)庫系統(tǒng)本身就可以完成很多數(shù)據(jù)集成過程。因此，本研究利用了現(xiàn)有的數(shù)據(jù)庫技術(shù)，在關(guān)系型數(shù)據(jù)倉庫的基礎(chǔ)上，提出了一種

3、實(shí)現(xiàn)ETL過程的新方法——E-LT方法。E-LT方法和傳統(tǒng)的E-T-L方法的區(qū)別在于轉(zhuǎn)換(T)與裝載(L)并沒有嚴(yán)格的順序，轉(zhuǎn)換在裝載之前、之后或同時進(jìn)行均可。該方法使用純粹的SQL語句來完成ETL過程，不需要其它編程語言的介入，ETL工具的作用由原來的數(shù)據(jù)處理轉(zhuǎn)為自動的SQL腳本生成。同時，本文提出ETL工具是元數(shù)據(jù)驅(qū)動的，以提供更好的柔性機(jī)制、擴(kuò)展能力和可操作性。本文的研究還實(shí)現(xiàn)了一個元數(shù)據(jù)驅(qū)動的E-LT引擎，并且應(yīng)用到國家海洋環(huán)境