基于ETL的校園數(shù)據(jù)交換平臺設(shè)計與實現(xiàn).pdf

1、隨著科學(xué)技術(shù)的飛速發(fā)展，信息化和數(shù)字化已經(jīng)成為各行各業(yè)進行現(xiàn)代化發(fā)展和技術(shù)改造的必然趨勢，教育和科研領(lǐng)域是較早接觸到信息化技術(shù)的行業(yè)，通過十多年來的發(fā)展和建設(shè)，在我國，目前在中小學(xué)校園中已經(jīng)陸續(xù)建立了相應(yīng)的針對學(xué)生以及教學(xué)事務(wù)的數(shù)據(jù)系統(tǒng)。然而各個數(shù)據(jù)系統(tǒng)的建立時間、建立方式、使用技術(shù)以及數(shù)據(jù)的存儲格式都各有不同，各個數(shù)據(jù)系統(tǒng)實際上處于相互獨立的狀態(tài)，這就給不同數(shù)據(jù)系統(tǒng)之間的數(shù)據(jù)交換和數(shù)據(jù)提取產(chǎn)生了困難，各數(shù)據(jù)系統(tǒng)之間不能實現(xiàn)數(shù)據(jù)的有效共

2、享，使數(shù)據(jù)產(chǎn)生價值。
　　數(shù)據(jù)交換平臺是一種旨在解決不同應(yīng)用系統(tǒng)之間的數(shù)據(jù)通信和數(shù)據(jù)交換的問題，使不同數(shù)據(jù)庫，不同數(shù)據(jù)格式之間存儲的數(shù)據(jù)能夠?qū)崿F(xiàn)跨平臺跨格式的智能數(shù)據(jù)抽取，數(shù)據(jù)交換服務(wù)的平臺。
　　ETL（Extract-Transform-Load）技術(shù)是目前采用較多的數(shù)據(jù)交換技術(shù)之一，ETL實際上是數(shù)據(jù)抽取，數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)加載三種操作的總稱。通常ETL操作發(fā)生在數(shù)據(jù)倉庫中，通過ETL工具從數(shù)據(jù)源中抽取需要的數(shù)據(jù)，根據(jù)需要

3、的格式對數(shù)據(jù)進行格式轉(zhuǎn)換、清洗，去除冗余數(shù)據(jù)，將不同格式存儲的數(shù)據(jù)進行格式統(tǒng)一，然后將加工處理后的數(shù)據(jù)加載到新的數(shù)據(jù)庫中進行存儲。
　　本文通過對目前中小學(xué)校園數(shù)據(jù)交互共享的具體需求進行分析，充分比較了現(xiàn)有的不同數(shù)據(jù)交換技術(shù)，提出了一種基于ETL的數(shù)據(jù)交換平臺的解決方案。通過對實際環(huán)境進行測試，取得了較好的效果。具體的工作有以下幾點：
　　1．根據(jù)光明中學(xué)建設(shè)統(tǒng)一信息交換平臺的需求，提出了基于ETL技術(shù)的整體設(shè)計架構(gòu)，并通過

4、開源ETL工具加以實現(xiàn)。
　　2．在基本的總線型架構(gòu)的基礎(chǔ)上提出了引入次級數(shù)據(jù)交換節(jié)點的改進使重點源數(shù)據(jù)庫與總線之間增加緩沖和服務(wù)能力，提高了整個系統(tǒng)的穩(wěn)定性。
　　3．針對并發(fā)數(shù)據(jù)請求的情況引入了消息隊列處理機制，在服務(wù)器多線程均繁忙時，根據(jù)數(shù)據(jù)請求優(yōu)先級進入消息隊列依次服務(wù)。
　　4．支持人工錄入和審核功能，提高整體平臺的數(shù)據(jù)安全性和可靠性。
　　本文中所實現(xiàn)的數(shù)據(jù)交換平臺系統(tǒng)是基于開源ETL工具kettle