數(shù)據(jù)倉庫和數(shù)據(jù)挖掘

1、數(shù)據(jù)倉庫和數(shù)據(jù)挖掘,DATA WAREHOUSING AND DATA MINING經(jīng)濟科學室驗室2004.6,主要內(nèi)容,數(shù)據(jù)倉庫簡介 數(shù)據(jù)挖掘簡介ORACLE 數(shù)據(jù)倉庫和數(shù)據(jù)挖掘解決方案,什么是數(shù)據(jù)倉庫 ?,數(shù)據(jù)倉庫（Data Warehouse）是一個面向主題的（Subject Oriented）、集成的（Integrate）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（Time Variant）的數(shù)據(jù)

2、集合，用于支持管理決策。,數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別,數(shù)據(jù)倉庫的體系結(jié)構(gòu),,什么是數(shù)據(jù)挖掘 ?,數(shù)據(jù)挖掘是一個利用各種分析方法和分析工具在大規(guī)模海量數(shù)據(jù)中建立模型和發(fā)現(xiàn)數(shù)據(jù)間關(guān)系的過程，這些模型和關(guān)系可以用來做出決策和預測。,,,顧客數(shù)據(jù)到處都是，誰才是我的顧客？,,,,,,,銷售信息,,市場信息,訂單目錄,市場數(shù)據(jù)庫,庫存信息,客服信息,數(shù)據(jù)挖掘能做些什么？,數(shù)據(jù)特征化和數(shù)據(jù)區(qū)分 關(guān)聯(lián)分析 分類和預測 聚類分析 孤立點分析 演變

3、分析,數(shù)據(jù)挖掘的常用方法,決策樹 相關(guān)規(guī)則 神經(jīng)元網(wǎng)絡 遺傳算法 可視化 OLAP聯(lián)機分析處理 統(tǒng)計方法,ORACLE 數(shù)據(jù)倉庫和數(shù)據(jù)挖掘 解決方案,,,Oracle 提供的數(shù)據(jù)倉庫工具 及其功能介紹,Oracle數(shù)據(jù)庫 SQL *Loader工具Oracle Warehouse Builder (OWB),Oracle9i 數(shù)據(jù)庫,一個對象關(guān)系型數(shù)據(jù)倉庫，用于存儲大量的數(shù)據(jù)。,,

4、,SQL *Loader工具,用于將數(shù)據(jù)裝載到數(shù)據(jù)倉庫中。這些數(shù)據(jù)包括Oracle數(shù)據(jù)庫中的數(shù)據(jù)，其他數(shù)據(jù)管理系統(tǒng)中的數(shù)據(jù)和外部數(shù)據(jù)。開發(fā)人員可以利用這兩種工具將多種數(shù)據(jù)源融合在一個單一的存儲系統(tǒng)中，并加以管理，從而為最終用戶提供對這多種數(shù)據(jù)源的無縫訪問。,Oracle Warehouse Builder,OWB是Oracle Developer Suits 中的一個組件，是用于設(shè)計、實現(xiàn)、和管理企業(yè)數(shù)據(jù)倉庫和數(shù)據(jù)集市的集成系統(tǒng)。 通

5、過向?qū)?qū)動的用戶界面來進行數(shù)據(jù)映射、元數(shù)據(jù)導入，利用預定義的轉(zhuǎn)換庫，能夠減少設(shè)計和實施時間。自動生成代碼，并且通過校驗程序保證編碼的正確性和唯一性，按照部署的要求生成不同的編碼類型。,Oracle Warehouse Builder,提供可視化的直觀映射和轉(zhuǎn)換工具、對多維數(shù)據(jù)的拖放功能，以及一個用于管理倉庫的系統(tǒng)外門戶解決方案，降低設(shè)計和開發(fā)數(shù)據(jù)倉庫和數(shù)據(jù)中心的復雜度。OWB為事實表和維度表提供向?qū)Ш蛨D形編輯器。OWB全面應用Or

6、acle9i 的分區(qū)、索引和總結(jié)管理等特性，與數(shù)據(jù)庫的緊密集成允許Oracle9i 作為一種轉(zhuǎn)換引擎使用，排除了增加轉(zhuǎn)換服務器的需求。,Oracle Warehouse Builder,利用OWB組件——文件集成器，實現(xiàn)從文本文件中提取數(shù)據(jù)。OWB包括一個全局共享庫（Global Shared Library)，用于存儲可重復使用的轉(zhuǎn)換。OWB軟件還包括Oracle Pure Integrate 和OWB Integrator fo

7、r SAP R/3, 前者是將數(shù)據(jù)客戶集成以形成戰(zhàn)略性電子商務項目基礎(chǔ)的軟件，后者是對SAP特有的ERP數(shù)據(jù)進行強有力報表制作和分析的集成橋梁。,OWB的開發(fā)過程,邏輯數(shù)據(jù)庫的定義數(shù)據(jù)倉庫的構(gòu)架商業(yè)結(jié)構(gòu)數(shù)據(jù)源和目標提取、轉(zhuǎn)換和裝載操作的映射,OWB的開發(fā)過程,物理數(shù)據(jù)倉庫實例的配置、合法化和部署DDL腳本，用于創(chuàng)建數(shù)據(jù)倉庫和框架對象之間的關(guān)系PL/SQL、SQL*Loader 和Tcl腳本，用于提取數(shù)據(jù)、映射和轉(zhuǎn)換數(shù)據(jù)，然后

8、將其裝載到物理實例中,OWB的開發(fā)過程,裝載和管理Oracle Enterprise Manager ，用于調(diào)度單個工作或是Oracle Workflow進程。,Oracle 提供的數(shù)據(jù)挖掘工具 及其功能介紹,Oracle9i Data Mining Oracle9i OLAP 工具集Oracle Discoverer Oracle Express系列Oracle Express Analyzer Oracl

9、e Express Objects Oracle Express Server,Oracle9i Data Mining,提高應用軟件的預測力和洞察力將數(shù)據(jù)挖掘功能嵌入 Oracle9i 數(shù)據(jù)庫中 基于 Java 的 API,Data Mining,提高應用軟件的預測力和洞察力,利用DM，公司能夠構(gòu)建高級商務智能應用程序、對公司的數(shù)據(jù)庫進行挖掘、發(fā)現(xiàn)新的有用信息并將其集成到商務應用程序中。 利用DM，公司能夠提高在客戶關(guān)系

10、管理（CRM），企業(yè)資源計劃（ERP），網(wǎng)頁入口和無線應用等商務智能方面的能力。鑒別最有利可圖的消費者，避免客戶流失 獲得新客戶，對已有客戶進行交叉銷售 檢測欺詐行為 預測零件質(zhì)量 尋找病人、藥品和療效之間的關(guān)系,數(shù)據(jù)挖掘功能的內(nèi)嵌,Oracle9i Data Mining 將數(shù)據(jù)挖掘功能嵌入 Oracle9i 數(shù)據(jù)庫中，用于分類、預報和關(guān)聯(lián)。所有的模型構(gòu)建、評分、以及元數(shù)據(jù)管理操作經(jīng)由基于 Java 的 API 來啟動并完

11、全在該關(guān)系數(shù)據(jù)庫中發(fā)生。 采用貝葉斯法則進行預測和分類 運用關(guān)聯(lián)規(guī)則檢測隱藏于數(shù)據(jù)庫中“相關(guān)”或并發(fā)事件 自動提取商務信息并將其整合在其他應用軟件之中,基于 Java 的 API,商務智能（BI）開發(fā)人員可以使用基于Java的應用程序接口（API）來開發(fā)基于預測的應用軟件。自動執(zhí)行數(shù)據(jù)挖掘進程，為消費者打分以及產(chǎn)生需求預測。通過查詢、分析和報表生成器產(chǎn)生新的數(shù)據(jù)挖掘信息。支持應用程序的集成。,Oracle9i OLAP工具,

12、企業(yè)級OLAP可將跨部門的數(shù)據(jù)緊密地聯(lián)系在一起，從而使所有用戶在一個共同的信息基礎(chǔ)上。它幫助用戶使用數(shù)據(jù)倉庫中的所有數(shù)據(jù)。企業(yè)級OLAP還能夠超越數(shù)據(jù)倉庫的范圍，集成來自其它獨立系統(tǒng)的數(shù)據(jù)，這些系統(tǒng)可能是關(guān)系型數(shù)據(jù)庫或者外部的文件系統(tǒng)。這種集成使得新型應用，如：基于事實的促銷、基于行為的定價以及產(chǎn)品利潤分析等能夠跨越單一部門的界限。,Oracle Discoverer,是Oracle公司面向 決策支持系統(tǒng)OLAP工具集的組成部分。它是

13、一個直觀的隨意查詢、報告、搜索和Web公布的工具。它能夠幫助公司內(nèi)部各個層次的商業(yè)用戶，獲得迅速訪問關(guān)系型數(shù)據(jù)庫、數(shù)據(jù)中心或者聯(lián)機事務處理系統(tǒng)中數(shù)據(jù)的能力。,Oracle Discoverer,User Edition提供了超乎尋常的易用性，通過任意深入能力、旋轉(zhuǎn)和圖表，給予用戶強大的數(shù)據(jù)探索能力。 Administration Edition提供了一個易于使用的基于服務器的強大的最終用戶層(End User Layer?) 。

14、對于那些需要集中精力處理商業(yè)問題而不是數(shù)據(jù)問題的最終用戶而言，End User Layer為他們隱藏了數(shù)據(jù)結(jié)構(gòu)和相互關(guān)系的復雜性。,Discoverer 支持下面的新特性:,自動摘要管理oracle 應用的支持標志改變計劃業(yè)主分析功能,Oracle Express系列,通過使用Oracle Express ：分析咨詢?nèi)藛T能夠很輕松地從各自的視角觀察數(shù)據(jù) 產(chǎn)品經(jīng)理能夠跨越許多時間段和市場區(qū)域研究她負責的某個產(chǎn)品 財務經(jīng)理可以

15、集中在當前或者以前的時間段，研究所有的市場和產(chǎn)品 地區(qū)經(jīng)理可在某些地區(qū)的所有時間段上考察所有產(chǎn)品 策略規(guī)劃人員可以集中在公司數(shù)據(jù)的某個集上，如在當前和下個季度，僅在西部地區(qū)銷售的某個新產(chǎn)品。,Oracle Express Analyzer,通用的、面向最終用戶的報告和分析工具，它采用面向?qū)ο蠹夹g(shù)，在Oracle Express Analyzer中能運行任何Oracle Express Objects應用。  在Oracl

16、e Express Analyzer的一個基石性對象是簡報(briefing)。一個簡報由若干頁組成，每一頁上包含由可重用的對象建立的面向主題的分析。這些對象是交互的、用戶能夠旋轉(zhuǎn)、深入和查詢?nèi)魏我粡埡唸箜撝械谋砀窕蛘邎D形，以運行他們自己的即席分析。,Oracle Express Objects,是最早出現(xiàn)的用于建立C/S上OLAP應用的面向?qū)ο蟮目梢暬_發(fā)環(huán)境。 提供圖形化建模和假設(shè)分析功能 。通過使用標準的Microsoft對象

17、連接嵌入技術(shù)(OLE)，實現(xiàn)對第三方軟件開放。例如能夠使用一個OLE控件顯示銷售某公司產(chǎn)品的商店。 通過使用代理程序、預警程序和OLE控件，可以監(jiān)控存貨水平，當存貨水平下降時向管理人員報警，自動提高主要產(chǎn)品的存貨水平。,Oracle Express Server,是一個先進的計算機引擎和數(shù)據(jù)高速緩存。 支持最能反應用戶對其業(yè)務思考方法的多維模型，而且具有分析、預測、建模，以及對數(shù)據(jù)進行假設(shè)分析(what-if)的能力。 具有用于數(shù)

18、學、財務、統(tǒng)計和時間序列管理等方面的內(nèi)置功能 。,Oracle Express Server,具有伸縮性、強健性和基于應用的特性，支持多個用戶訪問，并且為大型數(shù)據(jù)庫實現(xiàn)數(shù)據(jù)完整性控制。 Oracle的開放策略允許實施企業(yè)OLAP的公司自由選擇所需的關(guān)系型數(shù)據(jù)庫、開發(fā)工具和用戶界面，其中包括用戶化的Windows前端、電子表格和WWW，從而獲得最大限度的靈活性。,Oracle 開發(fā)工具簡介,Designer－提供了在RAD風格的用戶界

19、面下開發(fā)企業(yè)Web應用和客戶/服務器應用的集成式解決方案。Developer提供有一個集成式工具集 ，能夠?qū)崿F(xiàn)企業(yè)的Internet計算環(huán)境Jdeveloper 一種高效的3GL編程工具，可用來為客戶應用建立數(shù)據(jù)敏感的Java部件,Oracle 開發(fā)工具簡介,Programmer 為應用編程人員提供一套完整的編程接口和全面的應用開發(fā)解決方案 Reports 用于企業(yè)范圍內(nèi)進行“高逼真度”的Web數(shù)據(jù)庫發(fā)布和報告,謝