淺談數(shù)據(jù)整合技術在水利設計中的重要性

1、<p>　　淺談數(shù)據(jù)整合技術在水利設計中的重要性</p><p>　　論文關鍵詞集成信息系統(tǒng)　數(shù)據(jù)整合　信息孤島 </p><p>　　論文摘&#8195;要數(shù)據(jù)整合已經(jīng)成為未來水利設計單位進一步發(fā)展的必經(jīng)之路，水利設計單位需要進一步的發(fā)展和提高，就需要進行數(shù)據(jù)整合。文章采用數(shù)據(jù)整合技術，充分整合綜合辦公管理、計劃經(jīng)營管理、項目設計流程管理、圖檔管理數(shù)據(jù)資源，并建設成統(tǒng)

2、一的數(shù)據(jù)集成平臺。利用這一數(shù)據(jù)集成平臺將四大數(shù)據(jù)資源，經(jīng)過抽取、規(guī)則轉(zhuǎn)換、清洗、加載，形成整合資源庫，為經(jīng)營和戰(zhàn)略決策提供數(shù)據(jù)支持。 </p><p>　　決策分析需要的數(shù)據(jù)通常都是統(tǒng)計數(shù)據(jù)，但在現(xiàn)有信息系統(tǒng)下進行會比較復雜。原因有：①做出一個決策分析往往需要查詢多個基于各種異構數(shù)據(jù)源的信息系統(tǒng)和外部系統(tǒng)，并進行大量數(shù)據(jù)分析，工作量大，數(shù)據(jù)利用率不高，且容易出現(xiàn)人為差錯。②現(xiàn)有信息系統(tǒng)平臺及開發(fā)工具互不兼容，直

3、接提取這些數(shù)據(jù)比較麻煩。③各個信息系統(tǒng)沒有統(tǒng)一的數(shù)據(jù)接口，也沒有通用的數(shù)據(jù)標準和規(guī)范，各個數(shù)據(jù)庫無法直接集成。④統(tǒng)計分析需要大量的歷史數(shù)據(jù)，但是歷史數(shù)據(jù)并不完整。 </p><p>　　因此，為了適應決策信息系統(tǒng)建設的需要，我們采用數(shù)據(jù)整合技術，充分整合綜合辦公管理、計劃經(jīng)營管理、項目設計流程管理、圖檔管理數(shù)據(jù)資源，并建設成統(tǒng)一的數(shù)據(jù)集成平臺。 </p><p><b>　　

4、1數(shù)據(jù)資源分析 </b></p><p>　　數(shù)據(jù)整合資源庫的數(shù)據(jù)都是一些統(tǒng)計和分析數(shù)據(jù)，如項目進度跟蹤管理統(tǒng)計、產(chǎn)值管理統(tǒng)計等，它們來源于生產(chǎn)數(shù)據(jù)，所以在數(shù)據(jù)整合之前，需對現(xiàn)有生產(chǎn)數(shù)據(jù)資源進行歸類?，F(xiàn)階段生產(chǎn)數(shù)據(jù)資源主要分為綜合辦公管鉀數(shù)據(jù)集、計劃經(jīng)營管理數(shù)據(jù)集、項目設計流程管理數(shù)據(jù)集和圖檔管理數(shù)據(jù)集等。 </p><p>　　1）綜合辦公管理數(shù)據(jù)集是實現(xiàn)人員基礎信息統(tǒng)一

5、管理的基礎數(shù)據(jù)集。主要包括：①個人基本信息：包括個人信息庫等。②單位基本信息：包括單位基本信息庫、單位所屬分支機構信息庫等。③參數(shù)信息庫：包括代碼庫、圖表分析生成庫等。 </p><p>　　2）計劃經(jīng)營管理數(shù)據(jù)集主要包括：①市場信息：包括顧客信息資源庫、市場動態(tài)信息庫、競爭對手信息庫等。②招投標管理信息：包括招標信息庫、投標信息庫、專家信息庫等。③合同信息：包括合同信息庫、收付款項信息庫、產(chǎn)品交付管理庫等。④

6、資質(zhì)管理信息：包括資質(zhì)信息庫、資質(zhì)審核庫、資質(zhì)借用管理庫等。 </p><p>　　3）項目設計流程管理數(shù)據(jù)集主要包括：①項目信息：包括項目立項信息庫、任務下達信息庫、項目組人員任命庫等。②項目任務分解：包括項目任務分解資源信息庫、關鍵路徑控制等。③網(wǎng)絡虛擬辦公室：包括項目動態(tài)信息庫、中間成果管理庫、動態(tài)分析庫等。④產(chǎn)品管理信息：包括產(chǎn)品校審信息庫、成果交付信息庫等。 </p><p>

7、;　　4）圖檔管理數(shù)據(jù)集主要包括：①歸檔管理信息：包括資料預歸檔管理庫、資料歸檔管理庫等。②整編信息：包括檔案整編信息庫等。③借閱信息：包括人員信息庫、檔案借閱信息庫等。④電子檔案信息：包括電子檔案授權庫、電子檔案借閱管理庫等。⑤銷檔信息：包括銷毀檔案信息庫、銷毀人員信息庫等。 </p><p>　　2數(shù)據(jù)整合的實現(xiàn)方式 </p><p>　　水利設計單位集成信息系統(tǒng)數(shù)據(jù)庫大多為SQL

8、Server數(shù)據(jù)庫，數(shù)據(jù)整合實現(xiàn)方式通?？梢圆捎脭?shù)據(jù)庫開發(fā)技術和ETL技術實現(xiàn)，以下分別介紹這兩種實現(xiàn)方式。 </p><p>　　1）數(shù)據(jù)庫開發(fā)技術。利用數(shù)據(jù)庫開發(fā)技術的數(shù)據(jù)整合主要指利用數(shù)據(jù)庫本身的功能，如觸發(fā)器、PL/SQL存儲過程、DBLINK等功能完成，完成對各個信息系統(tǒng)所需要數(shù)據(jù)的抽取、查詢和關聯(lián)等。 </p><p>　　這種數(shù)據(jù)整合技術有如下優(yōu)勢：①適合于同種數(shù)據(jù)庫之間

9、的數(shù)據(jù)集成。②投資少，基本都是靠開發(fā)人員手工編程為主，只需要一些開發(fā)費用。但是該數(shù)據(jù)整合實現(xiàn)技術也存在一些局限性。③擴展性較差。由于都是開發(fā)人員手工編程，后期的維護成本較高，特別是在決策需求發(fā)生變化時，需要開發(fā)人員修改程序源代碼。④數(shù)據(jù)整合效率問題。由于數(shù)據(jù)庫都靠開發(fā)商編寫，在系統(tǒng)日趨龐大的情況下，在面對復雜的數(shù)據(jù)整合問題上，效率難以得到保證。 </p><p>　　2）ETL技術。通過ETL技術及專業(yè)ETL軟

10、件，即數(shù)據(jù)抽取（Extract）、轉(zhuǎn)換（Transform）、裝載（Load）能將數(shù)據(jù)從原系統(tǒng)數(shù)據(jù)庫經(jīng)過抽取，進行轉(zhuǎn)換，最后加載到目標數(shù)據(jù)庫，實現(xiàn)系統(tǒng)數(shù)據(jù)之間的整合。 </p><p>　　該數(shù)據(jù)整合實現(xiàn)技術運用在水利設計單位集成信息系統(tǒng)有如下優(yōu)勢：①高效率。ETL軟件的數(shù)據(jù)抽取、轉(zhuǎn)換、加載的效率非常高，特別對于大數(shù)據(jù)量的抽取。并且支持對ORACLE9i增量數(shù)據(jù)抽取。②改進數(shù)據(jù)質(zhì)量。能夠根據(jù)各種條件校驗源數(shù)據(jù)和

11、目標數(shù)據(jù)質(zhì)量，對垃圾數(shù)據(jù)進行清洗。③強大管理功能。能夠通過WEB管理界面對數(shù)據(jù)抽取策略執(zhí)行制定時間觸發(fā)方式，對抽取結果進行分析等。④多平臺、多數(shù)據(jù)源支持。支持各種平臺、各種數(shù)據(jù)庫系統(tǒng)（如ORACLE、SQLServer等）以及不同版本數(shù)據(jù)庫之間的數(shù)據(jù)抽取。⑤具備多種數(shù)據(jù)轉(zhuǎn)換控件，能夠完成各種非常復雜的數(shù)據(jù)轉(zhuǎn)換工作。但是該數(shù)據(jù)整合實現(xiàn)技術也存在一些局限性：投資費用較為昂貴，實施周期通常較長。 </p><p>　

12、　3數(shù)據(jù)整合的實施 </p><p>　　數(shù)據(jù)整合實施工作分為4個階段。 </p><p>　　1）第一階段為對信息系統(tǒng)原始數(shù)據(jù)分析階段。為了更加全面理解各種數(shù)據(jù)格式的含義，獲得各種相關文檔資源，因此首先要對信息系統(tǒng)原始數(shù)據(jù)進行分析。該階段主要包括了解需要采集的數(shù)據(jù)結構定義和數(shù)據(jù)表之間的設計聯(lián)系。例如：我們對包括非電子數(shù)據(jù)、excel格式數(shù)據(jù)及其各種不同數(shù)據(jù)庫格式數(shù)據(jù)進行分析。 &l

13、t;/p><p>　　2）第二階段為設計實施階段。為了不影響原始數(shù)據(jù)格式的改變及其調(diào)用，并保證它們的安全性，第二階段主要是定義數(shù)據(jù)整合規(guī)則及策略的設計實施階段。前者包括字段映射、合并、函數(shù)計算定義等。后者主要定義時間策略。 </p><p>　　3）第三階段為數(shù)據(jù)校驗階段。為了不會產(chǎn)生各種不完整甚至錯誤信息，因此在系統(tǒng)正式運行之前，必須建立嚴格的數(shù)據(jù)校驗機制，以保證生產(chǎn)數(shù)據(jù)和整合平臺數(shù)據(jù)的一

14、致性。例如：我們對導人的數(shù)據(jù)進行校驗，主要標準為水利設計單位設計規(guī)范標準，并對校驗出來的問題進行處理，主要是人工處理確認。 </p><p>　　4）第四階段為系統(tǒng)上線階段。將設計好的數(shù)據(jù)整合流程正式發(fā)布，并可設定計劃定時執(zhí)行，系統(tǒng)管理人員可以通過監(jiān)控界面，進行任務監(jiān)控和跟蹤。根據(jù)需求，管理人員還可修改計劃，合理安排數(shù)據(jù)轉(zhuǎn)換任務，以在規(guī)定的時間內(nèi)完成所有的數(shù)據(jù)轉(zhuǎn)換和加載任務。 </p><

15、p><b>　　4結語 </b></p><p>　　數(shù)據(jù)整合將改變原有的以部門和項目為中心的信息孤島局面，從而能夠?qū)崿F(xiàn)整個水利設計單位的數(shù)據(jù)整合。原有的部門級、以項目為中心的運作方式，將可能使得各個項目的使用技術不盡相同，也使得項目的進度依賴于開發(fā)人員的編碼效率，從而使得整個水利設計單位的效率低下。 </p><p>　　進行整個單位的數(shù)據(jù)整合之后，就能夠

16、在水利設計單位內(nèi)部統(tǒng)一技術架構和標準，充分發(fā)揮團隊協(xié)作的效率。通過由數(shù)據(jù)整合進行的數(shù)據(jù)移植、數(shù)據(jù)倉庫等，將能夠使得水利設計單位的數(shù)據(jù)整合成本大大下降。 </p><p><b>　　參考文獻 </b></p><p>　　[1]蔣東興,劉啟新.數(shù)字校園信息整合之我見[M].北京:清華大學計算機與信息管理中心,2003. </p><p>