ETL過程邏輯描述及其執(zhí)行.pdf

1、隨著數(shù)據(jù)倉庫的廣泛建立,數(shù)據(jù)倉庫系統(tǒng)的核心—用于數(shù)據(jù)倉庫數(shù)據(jù)加載和刷新維護(hù)的ETL工具越來越重要.市場上存在大量的ETL工具,這些ETL工具采用不同的實(shí)現(xiàn)技術(shù),對應(yīng)的ETL過程定義描述都基于數(shù)據(jù)源的數(shù)據(jù)模型和執(zhí)行ETL過程使用的實(shí)現(xiàn)技術(shù).使用不同的ETL工具需要熟悉不同的數(shù)據(jù)模型和ETL過程實(shí)現(xiàn)中使用的相關(guān)語言.針對當(dāng)前ETL工具中ETL設(shè)計(jì)的不足,我們提出了ETL過程的邏輯描述方法.首先作用統(tǒng)一數(shù)據(jù)模型描述具體的數(shù)據(jù)源對應(yīng)的數(shù)據(jù)存儲模

2、型,屏蔽不同數(shù)據(jù)模型中描述的差異,讓用戶在統(tǒng)一數(shù)據(jù)模型上定義ETL過程;其次使用ETL過程邏輯描述從邏輯上描述整個ETL過程,屏蔽ETL過程中具體實(shí)現(xiàn)的差異,使用各種邏輯規(guī)則定義ETL過程中的數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)清理.ETL過程的邏輯描述可以讓ETL過程設(shè)計(jì)人員專注于根據(jù)模式的語義進(jìn)行的數(shù)據(jù)轉(zhuǎn)換映射和清理定義,不用考慮執(zhí)行的實(shí)現(xiàn)模式和數(shù)據(jù)模型之間的差異,減少定義的復(fù)雜程度,同時為自動定義ETL過程提供前提.該文結(jié)合數(shù)據(jù)倉庫系統(tǒng)中的ETL工具研