開源ETL系統(tǒng)研究與設(shè)計實現(xiàn).pdf

1、任何公司都有很多寶貴數(shù)據(jù)，它們需要在網(wǎng)絡(luò)上從一個地方傳送到其他地方，這就需要對軟件的數(shù)據(jù)格式進(jìn)行必要的處理，如從一個商務(wù)軟件格式到另一種格式或數(shù)據(jù)倉庫，然后進(jìn)行分析?，F(xiàn)在的問題是，各種數(shù)據(jù)處于異質(zhì)系統(tǒng)——例如，由各種CRM(客戶關(guān)系，Customer Relationship Management)系統(tǒng)產(chǎn)生的數(shù)據(jù)，可能用不同方式定義一個客戶，但需要一個系統(tǒng)平臺來統(tǒng)一確定其在后端會計系統(tǒng)是同一客戶。為了解決這個問題，利用萃取、改造和裝載(

2、ETL，Exrtract、Transformand Load)軟件，即閱讀資料、統(tǒng)一格式、清潔源數(shù)據(jù)，并寫入它的目標(biāo)開發(fā)存儲庫。 從多個異構(gòu)數(shù)據(jù)源獲取業(yè)務(wù)數(shù)據(jù)，進(jìn)行數(shù)據(jù)清洗和轉(zhuǎn)換后，存儲到數(shù)據(jù)倉庫的過程，稱為ETL過程。提取可以通過Java的數(shù)據(jù)庫提取連接技術(shù)實現(xiàn)，也可以通過微軟公司的開放數(shù)據(jù)庫互連技術(shù)獲取。經(jīng)過提取、數(shù)據(jù)轉(zhuǎn)換或修改、依靠所涉及的具體業(yè)務(wù)邏輯，以便它能夠被送到目標(biāo)存儲庫．有多種方式進(jìn)行改造，涉及的作業(yè)各有不同。數(shù)

3、據(jù)可能僅僅需要重新格式化，但大多數(shù)的ETL也涉及清洗作業(yè)，以消除備份和執(zhí)行數(shù)據(jù)一致性。ETL軟件的部分功能是用于檢查個別數(shù)據(jù)域，并且運用規(guī)則不斷轉(zhuǎn)換源數(shù)據(jù)到目標(biāo)存儲庫和應(yīng)用程序所要求的格式。另外，ETL過程可以涉及的領(lǐng)域如下：標(biāo)準(zhǔn)化域名和地址域、核實電話號碼或其他領(lǐng)域、擴(kuò)展帶有附加字段的記錄，其中附加字段包括人口統(tǒng)計數(shù)據(jù)或來自其它系統(tǒng)的數(shù)據(jù)。 本文以項目踏藍(lán)(TOS，Talend Open Studio)為支撐，主要研究ETL理