數(shù)據(jù)挖掘算法介紹-huihoo

1、數(shù)據(jù)挖掘算法介紹 －－綜述,2004年12月17日,數(shù)據(jù)挖掘,數(shù)據(jù)挖掘是從大量數(shù)據(jù)中提取出有效的、新穎的、有潛在作用的、可信的、并能最終被人理解的模式(pattern)的非平凡的處理過程。 KDD DM,KDD,KDD:knowledge discovery in database,數(shù)據(jù)建模驗證應用,DM,DM:dataming——KDD的一個階段KDD與DM等同,DM is like setting up a

2、 restaurant kitchen...,Starting a restaurantkitchen,Data Mining,Food/Info,Cooks/Team,Kitchen/DWH,數(shù)據(jù)挖掘與其他學科的關系,Data Mining,Database Technology,Statistics,OtherDisciplines,InformationScience,MachineLearning (AI),Visua

3、lization,,,,,,,數(shù)據(jù)挖掘與OLAP,OLAP（on-line analytical processing）:只能限制于少量的維度和數(shù)據(jù)類型用戶控制的流程假設——驗證——結論DM：沒有明確假設的前提下去挖掘信息、發(fā)現(xiàn)知識——具 有未知、有效、可實用三個特征 能自動的發(fā)現(xiàn)隱藏在數(shù)據(jù)中的規(guī)律可以發(fā)現(xiàn)比OLAP更復雜而細致的信息未知——歸納——結論聯(lián)系：OLAP——DMOLAM,數(shù)據(jù)挖掘與統(tǒng)計學,數(shù)

4、據(jù)挖掘：數(shù)據(jù)挖掘利用了統(tǒng)計、人工智能、數(shù)據(jù)庫等技術，把這些高深復雜的技術封裝起來，使人們不用自己掌握這些技術也能完成同樣的功能，并且更專注于自己所要解決的問題 ；不僅僅是統(tǒng)計分析；統(tǒng)計分析：統(tǒng)計分析技術都基于完善的數(shù)學理論和高超的技巧，預測的準確度還是令人滿意的，但對使用者的要求很高 聯(lián)系統(tǒng)計分析方法學的延伸和擴展 很多的挖掘算法來源于統(tǒng)計學,前景,預言：著名的咨詢公司 Gartner Group在（2000年）一次高級

5、技術調查將數(shù)據(jù)挖掘和人工智能列為“未來三到五年內將對工業(yè)產(chǎn)生深遠影響的五大關鍵技術”之首，并且還將并行處理體系和數(shù)據(jù)挖掘列為未來五年內投資焦點的十大新興技術前兩位國外現(xiàn)狀：成熟、產(chǎn)品：SAS、CLEMENTINE、UNICA、各大數(shù)據(jù)庫國內現(xiàn)狀：起步產(chǎn)品：大部分是實驗室產(chǎn)品,數(shù)據(jù)挖掘分類,挖掘對象基于數(shù)據(jù)庫的挖掘基于web的挖掘基于文本的挖掘其他：音頻、視頻等多媒體數(shù)據(jù)庫,數(shù)據(jù)挖掘分類,應用響應模型交叉銷售價值

6、評估客戶分群,數(shù)據(jù)挖掘分類,挖掘模式預測型(Predictive)描述型(Descriptive)實際作用可分為以下幾種模式：分類：對沒有分類的數(shù)據(jù)進行分類；預測：用歷史來預測未來；關聯(lián)分析：關聯(lián)規(guī)則；聚類：物以類聚；序列模式：在多個數(shù)據(jù)序列中發(fā)現(xiàn)共同的行為模式;描述和可視化：數(shù)據(jù)挖掘的結果的表示形式;偏差分析：從數(shù)據(jù)分析中發(fā)現(xiàn)異常情況。,數(shù)據(jù)挖掘分類,我的理解－挖掘的算法分為三個層次：模式：比如分類、聚類－》

7、模型：決策樹、神經(jīng)網(wǎng)絡－》算法：ID3、CHAID、BP舉例：分類－決策樹－ID3、CHAID等；聚類－聚類分析－k-means、EM等。,數(shù)據(jù)挖掘分類,挖掘模型決策樹(decision tree)關聯(lián)規(guī)則(association rules)聚類(clustering)神經(jīng)網(wǎng)絡(Artificial Neural Networks，簡記作ANN)粗糙集(rough set)概念格(concept lattice)

8、遺傳算法(genetic algorithms)序列模式(sequence pattern)貝葉斯(Bayes)支持向量機(support vector machine，簡記作SVM)模糊集(fuzzy set)基于案例的推理(case-based reasoning，簡記作CBR),決策樹,決策樹學習是以實例為基礎的歸納學習算法,著眼于從一組無次序/無規(guī)則的事例中推理出決策樹表示形式的分類規(guī)則；決策樹基本算法是:貪心算法,

9、它以自頂向下遞歸、各個擊破方式構造決策樹.,關聯(lián)規(guī)則,關聯(lián)規(guī)則是形式如下的一種規(guī)則，“在購買面包和黃油的顧客中，有90％的人同時也買了牛奶”（面包＋黃油 → 牛奶）； 關聯(lián)規(guī)則的“三度”：支持度、可信度、興趣度。,聚類,聚類是根據(jù)數(shù)據(jù)的不同特征,將其劃分為不同的簇（cluster）,目的是使得屬于同一個簇中的對象之間具有較高的相似度，而不同簇中的對象差別（相異度）較大；聚類技術大致分為五種：劃分方法（partitioning me

10、thod）層次方法（hierarchical method）基于密度的方法（density-based method）基于網(wǎng)格的方法（grid-based method）基于模型的方法（model-based method）,神經(jīng)網(wǎng)絡,人工神經(jīng)網(wǎng)絡，是對人類大腦系統(tǒng)的中模擬；神經(jīng)網(wǎng)絡是一組連接的輸入/輸出單元,其中每個連接都與一個權相關聯(lián),在學習階段,通過調整神經(jīng)網(wǎng)絡的權,使得能夠預測輸入樣本的正確類標號來學習。激勵函數(shù)的選

11、擇和權值的調整,粗糙集,粗糙集理論是一種研究不精確、不確定性知識的數(shù)學工具；粗糙集對不精確概念的描述方法是：通過上近似概念和下近似概念這兩個精確概念來表示；一個概念（或集合）的下近似指的是其中的元素肯定屬于該概念；一個概念（或集合）的上近似指的是其中的元素可能屬于該概念。 粗糙集方法則有幾個優(yōu)點：不需要預先知道的額外信息，如統(tǒng)計中要求的先驗概率和模糊集中要求的隸屬度；算法簡單，易于操作。 粗糙集理論在知識發(fā)現(xiàn)研究中有著許多具體應用

12、，特別適合于數(shù)據(jù)之間（精確的或近似的）依賴關系發(fā)現(xiàn)、評價某一分類（屬性）的重要性、數(shù)據(jù)相似或差異發(fā)現(xiàn)、數(shù)據(jù)模式發(fā)現(xiàn)、從數(shù)據(jù)中產(chǎn)生一般決策規(guī)則、削減冗余對象與屬性、尋求屬性的最小子集以確保產(chǎn)生滿意的近似分類等等,粗糙集,舉例,概念格,概念格描述的是對象和屬性之間的聯(lián)系和統(tǒng)一，表明概念之間的泛化和例化關系，相應的Hasse圖實現(xiàn)數(shù)據(jù)的可視化 。,遺傳算法,遺傳算法（Genetic Algoritms，簡稱GA）是以自然選擇和遺傳理論為基礎，

13、將生物進化過程中“適者生存”規(guī)則與群體內部染色體的隨機信息交換機制相結合的搜索算法 ；遺傳算法主要組成部分包括編碼方案、適應度計算、父代選擇、交換算子和變異算子。,序列模式,是指在多個數(shù)據(jù)序列中發(fā)現(xiàn)共同的行為模式。通過時間序列搜索出重復發(fā)生概率較高的模式。這里強調時間序列的影響。例如，在所有購買了激光打印機的人中，半年后80%的人再購買新硒鼓，20%的人用舊硒鼓裝碳粉；在所有購買了彩色電視機的人中，有60%的人再購買VCD產(chǎn)品

14、；在時序模式中，需要找出在某個最短時間內出現(xiàn)比率一直高于某一最小百分比（閾值）的規(guī)則。,貝葉斯,貝葉斯分類是統(tǒng)計學的分類方法，其分析方法的特點是使用概率來表示所有形式的不確定性，學習或推理都用概率規(guī)則來實現(xiàn)；樸素貝葉斯分類：假定一個屬性值對給定類的影響獨立于其他屬性的值；貝葉斯網(wǎng)絡：是用來表示變量間連接概率的圖形模式,它提供了一種自然的表示因果信息的方法,用來發(fā)現(xiàn)數(shù)據(jù)間的潛在關系。,支持向量機,支持向量機（Support Vect

15、or Machine, SVM）建立在計算學習理論的結構風險最小化(SRM)原則之上。其核心問題是尋找一種歸納原則，以實現(xiàn)最小化風險，從而實現(xiàn)最佳的推廣能力。而且SVM一個重要的優(yōu)點是可以處理線性不可分的情況 。以往的機器學習理論的核心是經(jīng)驗風險最小化原則（ERM）,模糊集,模糊集：不同于經(jīng)典集合，沒有精確邊界的集合；定義：設X是對象x的集合，x是X的任一個元素。X上的模糊集合A定義為一組有序對：A＝{（x，uA(X)）|x?X},

16、其中uA(X)稱為模糊集合A的隸屬度函數(shù)（membership function,MF）MF將集合中的元素映射為0到1之間的隸屬度；隸屬度為0，或者1，則A就退化為經(jīng)典集合。,案例的推理,案例是一段帶有上下文信息的知識,該知識表達了推理機在達到其目標的過程中能起關鍵作用的經(jīng)驗,幾個概念的區(qū)別,分類和聚類分類是指將數(shù)據(jù)歸于一系列已知類別之中的某個類的分類過程;聚類是根據(jù)客體屬性對一系列未分類的客體進行類別的識別,把一組個體按照相似性