基于Kettle的數(shù)據(jù)傳輸平臺的設(shè)計與實現(xiàn).pdf

1、隨著科技的飛速發(fā)展，計算機相關(guān)的軟硬件也在不斷的進行更新?lián)Q代，而軟件的升級或是軟件產(chǎn)品的變更則帶來了數(shù)據(jù)維護的問題。針對于一些具有海量數(shù)據(jù)的用戶，諸如法務(wù)部門、公安系統(tǒng)等，一旦他們選擇了更換信息管理軟件，那么如何將已有數(shù)據(jù)遷移到新的系統(tǒng)中就是需要解決的首要難題。針對面對不同設(shè)計邏輯、甚至不同數(shù)據(jù)庫系統(tǒng)的情況，如何簡潔有效的進行海量數(shù)據(jù)的遷移是一個值得研究的課題。
　　本文針對這種海量數(shù)據(jù)遷移的過程，設(shè)計并實現(xiàn)了一款基于Kettle

2、的數(shù)據(jù)傳輸平臺。不同于市面上的其他ETL工具，本文所設(shè)計的數(shù)據(jù)傳輸平臺基于web端，以BS的方式為用戶提供數(shù)據(jù)傳輸能力。與其他ETL工具相比，本數(shù)據(jù)傳輸平臺避免了傳統(tǒng)軟件的下載、安裝、升級等步驟，方便快捷的實現(xiàn)用戶需求?；贙ettle的數(shù)據(jù)傳輸平臺為用戶提供了十余種不同數(shù)據(jù)庫之間數(shù)據(jù)傳輸?shù)哪芰Γ藗鹘y(tǒng)關(guān)系型數(shù)據(jù)庫之外，還提供非關(guān)系型數(shù)據(jù)庫以及特殊的文件系統(tǒng)之間混合數(shù)據(jù)傳輸功能，并實現(xiàn)了海量數(shù)據(jù)傳輸?shù)哪芰?。除此之外，本?shù)據(jù)傳輸平臺為用

3、戶提供了最簡潔、易懂的數(shù)據(jù)傳輸配置引導(dǎo)，節(jié)省了用戶配置數(shù)據(jù)傳輸?shù)臅r間，更增加了受眾用戶范圍。
　　本文主要從軟件研發(fā)流程的角度講述了從需求分析開始對數(shù)據(jù)傳輸平臺的設(shè)計與實現(xiàn)。講述了包括數(shù)據(jù)庫、各個子功能模塊等在內(nèi)的設(shè)計邏輯與展示。本數(shù)據(jù)傳輸平臺提供了基于web的用戶管理、數(shù)據(jù)連接管理、轉(zhuǎn)換管理、調(diào)度管理等功能，還實現(xiàn)了十余種不同數(shù)據(jù)庫之間的海量數(shù)據(jù)傳輸，從web前后端的角度對系統(tǒng)功能進行了實現(xiàn)，除此之外，也同時針對Kettle內(nèi)核