基于工作流和元數(shù)據(jù)的ETL工具研究與實(shí)現(xiàn).pdf

1、在全球經(jīng)濟(jì)一體化的背景下，隨著互聯(lián)網(wǎng)和信息技術(shù)的快速發(fā)展，企業(yè)建設(shè)相應(yīng)的信息化系統(tǒng)成了必然趨勢(shì)。然而，企業(yè)在信息化建設(shè)的過程中，大都實(shí)施了許多不同的企業(yè)應(yīng)用系統(tǒng)。因此，各企業(yè)為了解決信息孤島問題，必然要加強(qiáng)企業(yè)內(nèi)各部門之間、企業(yè)間信息系統(tǒng)的資源共享和應(yīng)用集成，從而信息的采集和分析管理成為了關(guān)鍵。ETL（Extract-Transform-Load）工具就是通過對(duì)不同的數(shù)據(jù)存儲(chǔ)格式進(jìn)行抽取、轉(zhuǎn)換、加載來為數(shù)據(jù)倉庫提供數(shù)據(jù)，進(jìn)而達(dá)到資源的共

2、享，為決策提供數(shù)據(jù)支持?？梢哉f，ETL工具是從數(shù)據(jù)集成的角度來解決信息孤島問題的。 根據(jù)論文的研究目標(biāo)，本文論述了一種基于工作流和元數(shù)據(jù)的ETL 工具的研究與實(shí)現(xiàn)。論文首先介紹了ETL工具的相關(guān)背景知識(shí)，并分析了ETL工具的研究現(xiàn)狀，根據(jù)當(dāng)前異構(gòu)數(shù)據(jù)源的特點(diǎn)，提出基于通用數(shù)據(jù)訪問技術(shù)（ADO.NET）的ETL 系統(tǒng)的體系架構(gòu)。該ETL系統(tǒng)具有工作流引擎、元數(shù)據(jù)管理、豐富的數(shù)據(jù)清洗功能、友好的拖拉式用戶界面和多線程并發(fā)處理等功能。

3、 本文中的所有功能模塊都具有相應(yīng)模型，本文主要的研究工作和創(chuàng)新點(diǎn)是：設(shè)計(jì)了ETL工作流模型、元數(shù)據(jù)模型、數(shù)據(jù)緩沖模型、并發(fā)規(guī)則執(zhí)行模型。工作流模型為ETL各個(gè)任務(wù)的按時(shí)間、按事件自動(dòng)執(zhí)行提供了基礎(chǔ)；元數(shù)據(jù)模型的實(shí)現(xiàn)為本系統(tǒng)的數(shù)據(jù)錯(cuò)誤控制、數(shù)據(jù)質(zhì)量檢測(cè)、ETL規(guī)則定義等奠定了基礎(chǔ)；數(shù)據(jù)緩沖模型的設(shè)計(jì)克服了數(shù)據(jù)表中記錄的誤差問題，并為數(shù)據(jù)轉(zhuǎn)換提供了良好的數(shù)據(jù)質(zhì)量；并發(fā)規(guī)則執(zhí)行模型建立于數(shù)據(jù)緩沖模型之上，數(shù)據(jù)緩沖模型的多個(gè)子緩沖為多線