數(shù)據(jù)挖掘概述

1、數(shù)據(jù)倉庫與數(shù) 據(jù) 挖 掘,主講教師：駱懿玲E-mail: luoyiling79@foxmail.com,教科書和參考書,教科書數(shù)據(jù)倉庫與數(shù)據(jù)挖掘陳志泊主編 ，清華大學出版社 2009.5.參考書數(shù)據(jù)挖掘概念與技術，Jiawei Han和Micheline Kamber 著，機械工業(yè)出版社(2001),中文版,數(shù)據(jù)倉庫與數(shù) 據(jù) 挖 掘,指定選修 32學時 2學分 8周總評成績=期末考試（70%）+作業(yè)（30%）

2、作業(yè)：第1次交作業(yè)：第1章習題（1-12題） 第2章全部習題第2次交作業(yè)：第4章第3次交作業(yè)：第5章 第6章,作業(yè)格式,填空題：1、數(shù)據(jù)倉庫就是一個面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合。2、元數(shù)據(jù)是描述數(shù)據(jù)倉庫內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)，它為訪問數(shù)據(jù)倉庫提供了一個信息目錄，根據(jù)數(shù)據(jù)用途的不同可將數(shù)據(jù)倉庫的元數(shù)據(jù)分為技術元數(shù)據(jù)和業(yè)務元數(shù)據(jù)兩類。3、數(shù)據(jù)處理通常分成兩大類：聯(lián)機事務處理和聯(lián)機分析處理。

3、問答題11. 什么是數(shù)據(jù)倉庫？數(shù)據(jù)倉庫的特點主要有哪些？答： 數(shù)據(jù)倉庫就是一個面向主題的（Subject Oriented）、集成的（Integrate）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（Time Variant）的數(shù)據(jù)集合，通常用于輔助決策支持。 數(shù)據(jù)倉庫的特點包含以下幾個方面： （1） 面向主題。操作型數(shù)據(jù)庫的數(shù)據(jù)組織是面向事務處理任務， ………………,數(shù)據(jù)挖掘的發(fā)展動力,數(shù)據(jù)爆炸問題 自動數(shù)據(jù)收集

4、工具和成熟的數(shù)據(jù)庫技術使得大量的數(shù)據(jù)被收集，存儲在數(shù)據(jù)庫、數(shù)據(jù)倉庫或其他信息庫中以待分析。我們擁有豐富的數(shù)據(jù)，但卻缺乏有用的信息 解決方法：數(shù)據(jù)倉庫技術和數(shù)據(jù)挖掘技術數(shù)據(jù)倉庫(Data Warehouse)和在線分析處理(OLAP)數(shù)據(jù)挖掘：在大量的數(shù)據(jù)中挖掘感興趣的知識（規(guī)則，規(guī)律，模式，約束）,數(shù)據(jù)庫技術的演化 (1),1960s和以前:文件系統(tǒng)1970s: 層次數(shù)據(jù)庫和網(wǎng)狀數(shù)據(jù)庫1980s早期:關系數(shù)據(jù)模型, 關

5、系數(shù)據(jù)庫管理系統(tǒng)(RDBMS)的實現(xiàn),數(shù)據(jù)庫技術的演化 (2),1980s晚期:各種高級數(shù)據(jù)庫系統(tǒng)(擴展的關系數(shù)據(jù)庫,面向?qū)ο髷?shù)據(jù)庫等等.) 面向應用的數(shù)據(jù)庫系統(tǒng) (空間數(shù)據(jù)庫，時序數(shù)據(jù)庫，多媒體數(shù)據(jù)庫等等）1990s: 數(shù)據(jù)挖掘, 數(shù)據(jù)倉庫, 多媒體數(shù)據(jù)庫和網(wǎng)絡數(shù)據(jù)庫2000s流數(shù)據(jù)管理和挖掘基于各種應用的數(shù)據(jù)挖掘XML數(shù)據(jù)庫和整合的信息系統(tǒng),什么是數(shù)據(jù)挖掘？,數(shù)據(jù)挖掘的概念數(shù)據(jù)挖掘(Data Mining)，就是從

6、大量數(shù)據(jù)中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過程，簡單的說，數(shù)據(jù)挖掘就是從大量數(shù)據(jù)中提取或“挖掘”知識，又被稱為數(shù)據(jù)庫中的知識發(fā)現(xiàn)(Knowledge Discovery in Database, KDD) 數(shù)據(jù)挖掘的替換詞數(shù)據(jù)庫中的知識挖掘（KDD）知識提煉、數(shù)據(jù)/模式分析數(shù)據(jù)考古數(shù)據(jù)捕撈、信息收獲等等。,數(shù)據(jù)挖掘: 數(shù)據(jù)庫中的知識挖掘(KDD),數(shù)據(jù)挖掘——知識挖掘的核心,,,,,,,,,,,,,

7、,數(shù)據(jù)清理,數(shù)據(jù)集成,數(shù)據(jù)庫,數(shù)據(jù)倉庫,,,,,,,,,Knowledge,任務相關數(shù)據(jù),選擇,數(shù)據(jù)挖掘,模式評估,,,,,,,,,,KDD的步驟,從KDD對數(shù)據(jù)挖掘的定義中可以看到當前研究領域?qū)?shù)據(jù)挖掘的狹義和廣義認識數(shù)據(jù)清理: (這個可能要占全過程60％的工作量)數(shù)據(jù)集成數(shù)據(jù)選擇數(shù)據(jù)變換數(shù)據(jù)挖掘（選擇適當?shù)乃惴▉碚业礁信d趣的模式）模式評估知識表示,典型數(shù)據(jù)挖掘系統(tǒng)的體系結(jié)構(gòu),,,,,,數(shù)據(jù)倉庫,,,,,,,,數(shù)據(jù)清洗,

8、過濾,,,,,數(shù)據(jù)庫,,,數(shù)據(jù)庫或數(shù)據(jù)倉庫服務器,數(shù)據(jù)挖掘引擎,模式評估,圖形用戶界面,,,,,,,,,,知識庫,數(shù)據(jù)集成,并非所有的東西都是數(shù)據(jù)挖掘,基于數(shù)據(jù)倉庫的OLAP系統(tǒng)OLAP系統(tǒng)專注于數(shù)據(jù)的匯總，而數(shù)據(jù)挖掘系統(tǒng)可以對數(shù)據(jù)進行多種復雜的處理。機器學習系統(tǒng)，數(shù)據(jù)統(tǒng)計分析系統(tǒng)這些系統(tǒng)所處理的數(shù)據(jù)容量往往很有限。信息系統(tǒng)專注于數(shù)據(jù)的查詢處理。相比于上述系統(tǒng)，數(shù)據(jù)挖掘系統(tǒng)關注更廣的范圍，是一個多學科的融合,在何種數(shù)據(jù)上進

9、行數(shù)據(jù)挖掘,關系數(shù)據(jù)庫數(shù)據(jù)倉庫事務數(shù)據(jù)庫高級數(shù)據(jù)庫系統(tǒng)和信息庫空間數(shù)據(jù)庫時間數(shù)據(jù)庫和時間序列數(shù)據(jù)庫流數(shù)據(jù)多媒體數(shù)據(jù)庫面向?qū)ο髷?shù)據(jù)庫和對象-關系數(shù)據(jù)庫異種數(shù)據(jù)庫和歷史(legacy)數(shù)據(jù)庫文本數(shù)據(jù)庫和萬維網(wǎng)(WWW),空間數(shù)據(jù)庫,空間數(shù)據(jù)庫是指在關系型數(shù)據(jù)庫（DBMS）內(nèi)部對地理信息進行物理存儲?？臻g數(shù)據(jù)庫中存儲的海量數(shù)據(jù)包括對象的空間拓撲特征、非空間屬性特征以及對象在時間上的狀態(tài)變化。常見的空間數(shù)據(jù)庫數(shù)據(jù)類型

10、地理信息系統(tǒng)(GIS)遙感圖像數(shù)據(jù)醫(yī)學圖像數(shù)據(jù)數(shù)據(jù)挖掘技術的應用：通過空間分類和空間趨勢分析，引入機器學習算法，對有用模式進行智能檢索,時間數(shù)據(jù)庫和時序數(shù)據(jù)庫,時間數(shù)據(jù)庫和時序數(shù)據(jù)庫都存放與時間有關的數(shù)據(jù)。時間數(shù)據(jù)庫通常存放包含時間相關屬性的數(shù)據(jù)。時序數(shù)據(jù)庫存放隨時間變化的值序列。對時間數(shù)據(jù)庫和時序數(shù)據(jù)庫的數(shù)據(jù)挖掘,可以通過研究事物發(fā)生發(fā)展的過程，有助于揭示事物發(fā)展的本質(zhì)規(guī)律，可以發(fā)現(xiàn)數(shù)據(jù)對象的演變特征或?qū)ο笞兓厔荨?流數(shù)據(jù),

11、與傳統(tǒng)的數(shù)據(jù)庫技術中的靜態(tài)數(shù)據(jù)不同，流數(shù)據(jù)是連續(xù)的、有序的、變化的、快速的、輸入量大的數(shù)據(jù)。主要應用場合網(wǎng)絡監(jiān)控網(wǎng)頁點擊流股票市場流媒體…等等與傳統(tǒng)數(shù)據(jù)庫技術相比，流數(shù)據(jù)在存儲、查詢、訪問、實時性的要求等方面都有很大區(qū)別。,多媒體數(shù)據(jù)庫,多媒體數(shù)據(jù)庫實現(xiàn)用計算機管理龐大復雜的多媒體數(shù)據(jù)，主要包括圖形(graphics)、圖象(image)、聲音(audio)、視頻(video)等等，現(xiàn)代數(shù)據(jù)庫技術一般將這些多媒體數(shù)據(jù)以二進制

12、對象的形式進行存儲。對于多媒體數(shù)據(jù)庫的數(shù)據(jù)挖掘，需要將存儲和檢索技術相結(jié)合。目前的主要方法包括構(gòu)造多媒體數(shù)據(jù)立方體、多媒體數(shù)據(jù)庫的多特征提取和基于相似性的模式匹配。,面向?qū)ο髷?shù)據(jù)庫和對象-關系數(shù)據(jù)庫,面向?qū)ο髷?shù)據(jù)庫是面向?qū)ο蠹夹g和數(shù)據(jù)庫技術結(jié)合的產(chǎn)物，該技術對數(shù)據(jù)以對象的形式進行存儲，并在這個基礎上實現(xiàn)了傳統(tǒng)數(shù)據(jù)庫的功能，包括持久性、并發(fā)控制、可恢復性、一致性和查詢數(shù)據(jù)庫的能力等。對象－關系數(shù)據(jù)庫基于對象－關系模型構(gòu)造，該模型通過處

13、理復雜對象的豐富數(shù)據(jù)類型和對象定位等功能，擴充關系模型。面向?qū)ο髷?shù)據(jù)庫和對象－關系數(shù)據(jù)庫中的數(shù)據(jù)挖掘會涉及一些新的技術，比如處理復雜對象結(jié)構(gòu)、復雜數(shù)據(jù)類型、類和子類層次結(jié)構(gòu)、構(gòu)造繼承以及方法和過程等等。,異構(gòu)數(shù)據(jù)庫和歷史(legacy)數(shù)據(jù)庫,歷史數(shù)據(jù)庫是一系列的異構(gòu)數(shù)據(jù)庫系統(tǒng)的集合，包括不同種類的數(shù)據(jù)庫系統(tǒng)，像關系數(shù)據(jù)庫、網(wǎng)絡數(shù)據(jù)庫、文件系統(tǒng)等等。有效利用歷史數(shù)據(jù)庫的關鍵在于實現(xiàn)不同數(shù)據(jù)庫之間的數(shù)據(jù)信息資源、硬件設備資源和人力資源

14、的合并和共享。對于異構(gòu)數(shù)據(jù)庫系統(tǒng)，實現(xiàn)數(shù)據(jù)共享應當達到兩點：一是實現(xiàn)數(shù)據(jù)庫轉(zhuǎn)換；二是實現(xiàn)數(shù)據(jù)的透明訪問。WEB SERVICE技術的出現(xiàn)有利于歷史數(shù)據(jù)庫數(shù)據(jù)的重新利用。,文本數(shù)據(jù)庫和萬維網(wǎng)(WWW),文本數(shù)據(jù)庫存儲的是對對象的文字性描述。文本數(shù)據(jù)庫的分類無結(jié)構(gòu)類型（大部分的文本資料和網(wǎng)頁）半結(jié)構(gòu)類型（XML數(shù)據(jù)）結(jié)構(gòu)類型（圖書館數(shù)據(jù)）萬維網(wǎng)(WWW)可以被看成最大的文本數(shù)據(jù)庫數(shù)據(jù)挖掘內(nèi)容內(nèi)容檢索WEB訪問模式檢索,數(shù)

15、據(jù)挖掘系統(tǒng)的分類 (1),數(shù)據(jù)挖掘的多學科融合的特性，決定了數(shù)據(jù)挖掘的研究將產(chǎn)生種類繁多的數(shù)據(jù)挖掘系統(tǒng)。根據(jù)所挖掘的數(shù)據(jù)庫分類關系數(shù)據(jù)庫，事務數(shù)據(jù)庫，流式數(shù)據(jù)，面向?qū)ο髷?shù)據(jù)庫，對象關系數(shù)據(jù)庫，數(shù)據(jù)倉庫，空間數(shù)據(jù)庫，時序數(shù)據(jù)庫，文本數(shù)據(jù)庫，多媒體數(shù)據(jù)庫，異構(gòu)數(shù)據(jù)庫，歷史數(shù)據(jù)庫，WWW,數(shù)據(jù)挖掘系統(tǒng)的分類 (2),根據(jù)挖掘的知識類型特征分析, 區(qū)分, 關聯(lián)分析, 分類聚類, 孤立點分析/演變分析, 偏差分析等等.多種方法的集成和多層

16、機挖掘根據(jù)挖掘所用的技術面向數(shù)據(jù)庫的挖掘、數(shù)據(jù)倉庫 、OLAP、機器學習、統(tǒng)計學、可視化等等.根據(jù)挖掘所用的應用金融,電信,銀行, 欺詐分析, DNA分析,股票市場, Web挖掘等等.,數(shù)據(jù)挖掘是多個學科的融合,數(shù)據(jù)挖掘,數(shù)據(jù)庫系統(tǒng),統(tǒng)計學,其他學科,算法,機器學習,可視化,,,,,,,數(shù)據(jù)挖掘涉及的技術問題 (1),數(shù)據(jù)挖掘是多個學科融合，但本課程所關注的是：海量數(shù)據(jù)的挖掘的效率和可擴展性本課程涉及的主要技術問題有：挖掘

17、方法和用戶交互在數(shù)據(jù)庫中挖掘不同類型的知識在不同抽象層上的交互式知識挖掘背景知識的合并數(shù)據(jù)挖掘查詢語言和特定的數(shù)據(jù)挖掘數(shù)據(jù)挖掘結(jié)果的表示和可視化處理噪聲和不完全數(shù)據(jù)模式評估: 興趣度問題,數(shù)據(jù)挖掘涉及的技術問題 (2),性能問題數(shù)據(jù)挖掘算法的效率和可擴展性(scalability)（什么是可擴展性？）并行，分布式和增量挖掘算法（數(shù)據(jù)的分塊挖掘）其他和多樣化的數(shù)據(jù)庫類型相關的問題關系型和復雜數(shù)據(jù)類型的處理為特定

18、的數(shù)據(jù)類型構(gòu)建特定的數(shù)據(jù)挖掘系統(tǒng)從異構(gòu)數(shù)據(jù)庫中挖掘WEB數(shù)據(jù)挖掘,數(shù)據(jù)挖掘的主要功能——可以挖掘哪些模式？,一般功能描述性的數(shù)據(jù)挖掘 預測性的數(shù)據(jù)挖掘通常，用戶并不知道在數(shù)據(jù)中能挖掘出什么東西，對此我們會在數(shù)據(jù)挖掘中應用一些常用的數(shù)據(jù)挖掘功能，挖掘出一些常用的模式，包括：概念/類描述: 特性化和區(qū)分關聯(lián)分析分類和預測 聚類分析孤立點分析趨勢和演變分析,概念/類描述: 特性化和區(qū)分,概念描述：為數(shù)據(jù)的特征化和

19、比較產(chǎn)生描述（當所描述的概念所指的是一類對象時，也稱為類描述）特征化：提供給定數(shù)據(jù)集的簡潔匯總。例：對AllElectronic公司的“大客戶”（年消費額$1000以上）的特征化描述：40－50歲，有固定職業(yè)，信譽良好，等等區(qū)分：提供兩個或多個數(shù)據(jù)集的比較描述。例：,關聯(lián)分析,關聯(lián)規(guī)則挖掘：從事務數(shù)據(jù)庫，關系數(shù)據(jù)庫和其他信息存儲中的大量數(shù)據(jù)的項集之間發(fā)現(xiàn)有趣的、頻繁出現(xiàn)的模式、關聯(lián)和相關性。廣泛的用于購物籃或事務數(shù)據(jù)分析。

20、例：,分類和預測,根據(jù)訓練數(shù)據(jù)集和類標號屬性，構(gòu)建模型來分類現(xiàn)有數(shù)據(jù)，并用來分類新數(shù)據(jù)（分類），用來預測類型標志未知的對象類（預測）。比如：按氣候?qū)曳诸?，按汽油消耗定額將汽車分類導出模型的表示: 判定樹、分類規(guī)則、神經(jīng)網(wǎng)絡可以用來預報某些未知的或丟失的數(shù)字值 例：IF age = “40” AND credit_rating = “excellent” THEN buys_computer = “yes”IF a

21、ge = “>40” AND credit_rating = “fair” THEN buys_computer = “no”,聚類分析,聚類分析：將物理或抽象對象的集合分組成為由類似的對象組成的多個類的過程。最大化類內(nèi)的相似性和最小化類間的相似性例：對WEB日志的數(shù)據(jù)進行聚類，以發(fā)現(xiàn)相同的用戶訪問模式,孤立點分析,孤立點分析孤立點:一些與數(shù)據(jù)的一般行為或模型不一致的孤立數(shù)據(jù)通常孤立點被作為“噪音”或異常被丟棄，但在欺

22、騙檢測中卻可以通過對罕見事件進行孤立點分析而得到結(jié)論。應用信用卡欺詐檢測移動電話欺詐檢測客戶劃分醫(yī)療分析（異常）,趨勢和演變分析,描述行為隨時間變化的對象的發(fā)展規(guī)律或趨勢（時序數(shù)據(jù)庫）趨勢和偏差: 回歸分析序列模式匹配：周期性分析基于類似性的分析,所有模式都是有趣的嗎？,數(shù)據(jù)挖掘可能產(chǎn)生數(shù)以千計的模式或規(guī)則，但并不是所有的模式或規(guī)則都是令人感興趣的。模式興趣度的度量一個模式是有趣的，如果(1) 它易于被人理解 ；（

23、2）在某種程度上，對于新的或測試數(shù)據(jù)是有效的；（3）具有潛在效用；（4）新穎的；（5）符合用戶確信的某種假設模式興趣度的客觀和主觀度量客觀度量: 基于所發(fā)現(xiàn)模式的結(jié)構(gòu)和關于它們的統(tǒng)計， 比如： 支持度、置信度等等主觀度量: 基于用戶對數(shù)據(jù)的判斷。比如：出乎意料的、新穎的、可行動的等等,能夠產(chǎn)生所有有趣模式并且僅產(chǎn)生有趣模式嗎？,找出所有有趣的模式: 數(shù)據(jù)挖掘算法的完全性問題數(shù)據(jù)挖掘系統(tǒng)能夠產(chǎn)生所有有趣的模式嗎?試探搜索 vs.

24、窮舉搜索關聯(lián) vs. 分類 vs. 聚類只搜索有趣的模式: 數(shù)據(jù)挖掘算法的最優(yōu)化問題數(shù)據(jù)挖掘系統(tǒng)可以僅僅發(fā)現(xiàn)有趣的模式嗎？方法首先生成所有模式然后過濾那些無趣的.僅僅生成有趣的模式—挖掘查詢優(yōu)化,數(shù)據(jù)挖掘應用—一個經(jīng)典營銷故事,“啤酒與尿布”的故事產(chǎn)生于20世紀90年代的美國沃爾瑪超市中，沃爾瑪超市管理人員分析銷售數(shù)據(jù)時發(fā)現(xiàn)了一個令人難于理解的現(xiàn)象：在某些特定的情況下，“啤酒”與“尿布”兩件看上去毫無關系的商品會經(jīng)常出現(xiàn)在同

25、一個購物籃中，這種獨特的銷售現(xiàn)象引起了管理人員的注意，經(jīng)過后續(xù)調(diào)查發(fā)現(xiàn)，這種現(xiàn)象出現(xiàn)在年輕的父親身上。 在美國有嬰兒的家庭中，一般是母親在家中照看嬰兒，年輕的父親前去超市購買尿布。父親在購買尿布的同時，往往會順便為自己購買啤酒，這樣就會出現(xiàn)啤酒與尿布這兩件看上去不相干的商品經(jīng)常會出現(xiàn)在同一個購物籃的現(xiàn)象。如果這個年輕的父親在賣場只能買到兩件商品之一，則他很有可能會放棄購物而到另一家商店，直到可以一次同時買到啤酒與尿布為止。沃爾瑪發(fā)

26、現(xiàn)了這一獨特的現(xiàn)象，開始在賣場嘗試將啤酒與尿布擺放在相同的區(qū)域，讓年輕的父親可以同時找到這兩件商品，并很快地完成購物；而沃爾瑪超市也可以讓這些客戶一次購買兩件商品、而不是一件，從而獲得了很好的商品銷售收入。,數(shù)據(jù)挖掘應用——市場分析和管理(1),數(shù)據(jù)來源信用卡交易, 會員卡, 商家的優(yōu)惠卷, 消費者投訴電話, 公眾生活方式研究目標市場構(gòu)建一系列的“客戶群模型”，這些顧客具有相同特征: 興趣愛好, 收入水平, 消費習慣,等等確定顧

27、客的購買模式交叉市場分析貨物銷售之間的相互聯(lián)系和相關性，以及基于這種聯(lián)系上的預測,數(shù)據(jù)挖掘應用——市場分析和管理(2),顧客分析哪類顧客購買那種商品 (聚類分析或分類預測)客戶需求分析確定適合不同顧客的最佳商品預測何種因素能夠吸引新顧客提供概要信息多維度的綜合報告統(tǒng)計概要信息 (數(shù)據(jù)的集中趨勢和變化),數(shù)據(jù)挖掘應用——公司分析和風險管理,財務計劃現(xiàn)金流轉(zhuǎn)分析和預測交叉區(qū)域分析和時間序列分析（財務資金比率，趨勢分析等

28、等）資源計劃總結(jié)和比較資源和花費競爭對競爭者和市場趨勢的監(jiān)控 將顧客按等級分組和基于等級的定價過程將定價策略應用于競爭更激烈的市場中,數(shù)據(jù)挖掘應用——欺詐行為檢測和異常模式的發(fā)現(xiàn),方法: 對欺騙行為進行聚類和建模，并進行孤立點分析應用: 衛(wèi)生保健、零售業(yè)、信用卡服務、電信等汽車保險: 相撞事件的分析 洗錢: 發(fā)現(xiàn)可疑的貨幣交易行為 醫(yī)療保險職業(yè)病人, 醫(yī)生以及相關數(shù)據(jù)分析不必要的或相關的測試電信: 電話呼叫欺騙