電信ODS中ETL技術(shù)研究與應(yīng)用.pdf

1、ODS作為一種企業(yè)數(shù)據(jù)共享的統(tǒng)一數(shù)據(jù)視圖，可以滿足企業(yè)集成的、即時(shí)性的、操作性的數(shù)據(jù)的需求，有效地解決企業(yè)內(nèi)部數(shù)據(jù)共享、系統(tǒng)協(xié)同等問題。ETL作為操作型業(yè)務(wù)源系統(tǒng)與ODS的橋梁，是提高操作型業(yè)務(wù)源系統(tǒng)與ODS數(shù)據(jù)同步實(shí)時(shí)性的核心與關(guān)鍵。因此，研究并實(shí)現(xiàn)高效、合理的ETL策略和架構(gòu)，進(jìn)一步提高ETL性能對ODS提供準(zhǔn)實(shí)時(shí)性業(yè)務(wù)數(shù)據(jù)支持尤為重要。
　　 論文結(jié)合CSP理論研究了增量ETL工作流并發(fā)調(diào)度策略，設(shè)計(jì)并實(shí)現(xiàn)了基于消息驅(qū)動(dòng)的

2、ETL機(jī)制，解決了ODS準(zhǔn)實(shí)時(shí)數(shù)據(jù)同步問題。論文首先結(jié)合CSP理論建立了一種基于CSP的并行增量ETL過程模型，并利用CSP描述模型分析了增量ETL過程執(zhí)行的時(shí)序和邏輯關(guān)系，研究了增量ETL過程執(zhí)行的相關(guān)邏輯狀態(tài)，給出了一種增量ETL過程調(diào)度算法，解決了增量ETL工作流的并發(fā)調(diào)度策略及調(diào)度時(shí)產(chǎn)生的死鎖等問題;其次在ETL數(shù)據(jù)整合方案中引入了消息驅(qū)動(dòng)的思想，研究并實(shí)現(xiàn)了基于消息驅(qū)動(dòng)的ETL，給出了消息體系和基于消息驅(qū)動(dòng)的數(shù)據(jù)同步方法的具體

3、實(shí)現(xiàn)，解決了跨系統(tǒng)間操作型業(yè)務(wù)源系統(tǒng)、ETL和ODS之間跨系統(tǒng)消息交互和數(shù)據(jù)同步的過程;最后結(jié)合某省電信ODS平臺中數(shù)據(jù)同步處理的具體需求，給出了系統(tǒng)具體的架構(gòu)設(shè)計(jì)以及功能設(shè)計(jì)，設(shè)計(jì)并實(shí)現(xiàn)了基于CSP的增量ETL調(diào)度策略和基于消息驅(qū)動(dòng)的ETL機(jī)制的電信ODS平臺數(shù)據(jù)同步框架。
　　 實(shí)踐證明，基于CSP的增量ETL調(diào)度策略和基于消息驅(qū)動(dòng)的ETL機(jī)制具有源系統(tǒng)負(fù)載小，數(shù)據(jù)的實(shí)時(shí)性高等特點(diǎn)。在電信ODS平臺的實(shí)際應(yīng)用中，基于CSP的