ETL技術(shù)在QHSE報(bào)告系統(tǒng)中的研究與實(shí)現(xiàn).pdf

1、本文針對(duì)傳統(tǒng)數(shù)據(jù)庫中海量業(yè)務(wù)數(shù)據(jù)無法得到有效利用的問題，在ETL理論基礎(chǔ)之上，提出了數(shù)據(jù)倉庫項(xiàng)目中ETL問題的解決方案，主要研究了基于元數(shù)據(jù)的數(shù)據(jù)抽取、轉(zhuǎn)換和加載以及數(shù)據(jù)清洗的方法，詳細(xì)闡述了ETL技術(shù)在中國(guó)石油QHSE報(bào)告系統(tǒng)中的應(yīng)用，具體內(nèi)容包括： 1.QHSE報(bào)告系統(tǒng)為不同的業(yè)務(wù)數(shù)據(jù)源提供統(tǒng)一的數(shù)據(jù)接口規(guī)范，用于從各業(yè)務(wù)系統(tǒng)或工作環(huán)境中獲取包含統(tǒng)計(jì)報(bào)表和多維分析信息的初始數(shù)據(jù)文件，合理運(yùn)用數(shù)據(jù)實(shí)現(xiàn)跨越多平臺(tái)多系統(tǒng)的數(shù)據(jù)整合

2、； 2.針對(duì)沒有相應(yīng)的信息管理系統(tǒng)，報(bào)告系統(tǒng)使用.NET技術(shù)開發(fā)QHSE數(shù)據(jù)錄入/導(dǎo)入系統(tǒng)，并運(yùn)用XML技術(shù)實(shí)現(xiàn)不規(guī)則數(shù)據(jù)文件抽取； 3.校驗(yàn)初始數(shù)據(jù)文件，檢查數(shù)據(jù)是否符合數(shù)據(jù)倉庫系統(tǒng)要求的業(yè)務(wù)標(biāo)準(zhǔn)及數(shù)據(jù)的合法性，進(jìn)行數(shù)據(jù)清洗，并生成相應(yīng)的日志記錄； 4.按照指定要求加載通過合法性校驗(yàn)的文件或數(shù)據(jù)行到數(shù)據(jù)倉庫數(shù)據(jù)表，設(shè)計(jì)加載策略以提高ETL效率。 論文對(duì)ETL在數(shù)據(jù)倉庫項(xiàng)目實(shí)施過程中的方法進(jìn)行了總結(jié)，并提