基于工作流引擎的數(shù)據(jù)倉庫ETL研究與開發(fā).pdf_第1頁
已閱讀1頁，還剩61頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權，請進行舉報或認領

文檔簡介

1、數(shù)據(jù)倉庫是一新型的數(shù)據(jù)庫管理系統(tǒng),對企業(yè)的歷史數(shù)據(jù)進行各種各樣的分析,能夠集成各種異構數(shù)據(jù)源并能滿足企業(yè)管理者對數(shù)據(jù)查詢的快速響應,其最終目的是為企業(yè)的管理者提供決策的支持信息。ETL (Extract Transform Load,抽取、轉換、裝載)是數(shù)據(jù)倉庫建立的核心過程,而手工編碼實現(xiàn)ETL,對各個異構數(shù)據(jù)源都要單獨實現(xiàn)ETL,這樣對ETL的管理和維護難度就較大,因此構建高效、靈活的ETL工具是很有必要的。 本文將工作流的

2、概念引入ETL過程中,構建了基于工作流引擎的ETL工具。設計實現(xiàn)了采用FSM (Finite State Machine,有限狀態(tài)機)原理的工作流引擎、ETL任務模塊和基于連接池機制的DAO(Data Access Object,數(shù)據(jù)訪問對象)。在工作流基礎上實現(xiàn)對ETL,任務的控制、管理和監(jiān)控,通過DAO集中控制對數(shù)據(jù)庫的訪問,這樣解決了ETL,任務之間復雜的調(diào)度管理。針對大數(shù)據(jù)加載效率問題和數(shù)據(jù)倉庫增量更新的問題,提出了并行加載方案

3、和基于Oracle的MV(Materialized View,物化視圖)和CDC(Change Data Capture,變化數(shù)據(jù)捕捉)的數(shù)據(jù)增量更新方案,為數(shù)據(jù)的加載和增量更新提供了一套新的方法和思路。 本文圍繞著構建基于工作流引擎的ETL工具而展開.首先介紹了數(shù)據(jù)倉庫、ETL以及工作流、工作流管理系統(tǒng)、工作流引擎、和構建工作流的ETL,工具的意義。接著重描述了基于工作流引擎的:ETL設計的各個模塊以及整體架構。在基于工作流引

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權或不適當內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論