并行系統(tǒng)中ETL工具的優(yōu)化.pdf

1、ETL是將業(yè)務系統(tǒng)的數(shù)據(jù)經(jīng)過抽取、清洗轉(zhuǎn)換之后加載到數(shù)據(jù)倉庫的過程，目的是將企業(yè)中的分散、零亂、標準不統(tǒng)一的數(shù)據(jù)整合到一起，為企業(yè)的決策提供分析的依據(jù)。所謂ETL，即Extract，Transform和Load的縮寫。研究表明ETL部分的研制過程占整個數(shù)據(jù)倉庫項目研發(fā)時間的百分之七十左右。 目前有很多專業(yè)的ETL工具，除了一些開源的工具之外還有很多公司開發(fā)了專門的商業(yè)化ETL軟件。 最流行的ETL軟件包括Informat

2、ica公司的PowerCenter，IBM公司的DataStage還有NCR Teradata公司的ETL Automation等。HP公司從2006年開始構建企業(yè)內(nèi)部新的統(tǒng)一數(shù)據(jù)倉庫EDW。采用了公司自行開發(fā)的ETL工具DIAL。DIAL運行在HP Integrity或者NonStop服務器上，充分利用了底層硬件的并行處理能力。具有很強大的數(shù)據(jù)處理能力。 但另一方面，無論DIAL還是前面所提到的三個商業(yè)工具都沒有對ETL工作流

3、進行優(yōu)化操作。本文在傳統(tǒng)數(shù)據(jù)庫SQL優(yōu)化的理論基礎上探討了ETL workflow優(yōu)化的方法，在實現(xiàn)過程中充分考慮了底層硬件的并行處理能力。 本文提出了一種基于選擇前推的邏輯優(yōu)化算法，用于加快復雜的數(shù)據(jù)庫數(shù)據(jù)事務處理。通過等價的工作流變換，找到代價最小的一種形式，從而提高數(shù)據(jù)處理的效率。 另外為了充分利用NonStop服務器強大的并行處理能力，本文提出了一種基于文件分割的方法，將將一個大文件分割為多個小的文件，利用多個進