基于ODS的數據倉庫與挖掘及其在鋼鐵企業(yè)中的應用.pdf

1、信息技術發(fā)展的浪潮使人們進入到了信息爆炸的時代，海量信息需要人們去處理與應用。數據處理已經不是信息技術的重點，代之而來的是如何充分使用這些信息?，F在眾多的企業(yè)都進行著信息化建設，隨著企業(yè)信息化的不斷深入，人們對企業(yè)數據進行整合與分析的需求也更加強烈，也越來越重視企業(yè)統(tǒng)一的數據倉庫平臺建設。因此如何建立高效的、企業(yè)級的數據倉庫決定著企業(yè)信息化的成效。數據挖掘技術是20世紀90年代迅速發(fā)展起來的技術，能從企業(yè)的“數據海洋”中挖掘出有效的、具

2、有潛在效用的規(guī)律或模式。利用數據倉庫進行數據挖掘可以提高企業(yè)經營決策的正確性，大大提高企業(yè)的經濟效益。 本文對數據倉庫的建設與數據挖掘的技術進行了深入研究，并在某鋼鐵企業(yè)具體實現了建立數據倉庫的步驟、挖掘出有益的結論。我們實現了建立數據倉庫的一個完整循環(huán)，為鋼鐵企業(yè)甚至別的行業(yè)建立數據倉庫提供了寶貴的經驗。鋼鐵企業(yè)的生產具有連續(xù)性、業(yè)務邏輯復雜、數據量大等特點，對數據分析的實時性要求也比較高；針對這種具體的企業(yè)特點與需求，提出了

3、建立具有ODS層的數據倉庫體系架構。數據倉庫的建設中，數據質量是關鍵的問題，為此我們將傳統(tǒng)的ETL三個步驟擴展為ECCD四個步驟，為提供高質量的數據打下了堅實的基礎。在詳細分析了數據倉庫ETL的構建過程、數據清洗的原理及其設計要點的基礎上實現了從數據源系統(tǒng)中抽取數據、經過清洗、整合處理，最后加載到數據倉庫中的完整過程。在對數據挖掘的現狀與功能的分析的基礎上，總結了數據挖掘需重點開展的工作。并利用K-means聚類算法對客戶進行了聚類分析