數(shù)據(jù)挖掘算法介紹-huihoo

1、數(shù)據(jù)挖掘算法介紹 －－綜述,2004年12月17日,數(shù)據(jù)挖掘,數(shù)據(jù)挖掘是從大量數(shù)據(jù)中提取出有效的、新穎的、有潛在作用的、可信的、并能最終被人理解的模式(pattern)的非平凡的處理過程。 KDD DM,KDD,KDD:knowledge discovery in database,數(shù)據(jù)建模驗(yàn)證應(yīng)用,DM,DM:dataming——KDD的一個(gè)階段KDD與DM等同,DM is like setting up a

2、 restaurant kitchen...,Starting a restaurantkitchen,Data Mining,Food/Info,Cooks/Team,Kitchen/DWH,數(shù)據(jù)挖掘與其他學(xué)科的關(guān)系,Data Mining,Database Technology,Statistics,OtherDisciplines,InformationScience,MachineLearning (AI),Visua

3、lization,,,,,,,數(shù)據(jù)挖掘與OLAP,OLAP（on-line analytical processing）:只能限制于少量的維度和數(shù)據(jù)類型用戶控制的流程假設(shè)——驗(yàn)證——結(jié)論DM：沒有明確假設(shè)的前提下去挖掘信息、發(fā)現(xiàn)知識(shí)——具 有未知、有效、可實(shí)用三個(gè)特征 能自動(dòng)的發(fā)現(xiàn)隱藏在數(shù)據(jù)中的規(guī)律可以發(fā)現(xiàn)比OLAP更復(fù)雜而細(xì)致的信息未知——?dú)w納——結(jié)論聯(lián)系：OLAP——DMOLAM,數(shù)據(jù)挖掘與統(tǒng)計(jì)學(xué),數(shù)

4、據(jù)挖掘：數(shù)據(jù)挖掘利用了統(tǒng)計(jì)、人工智能、數(shù)據(jù)庫等技術(shù)，把這些高深復(fù)雜的技術(shù)封裝起來，使人們不用自己掌握這些技術(shù)也能完成同樣的功能，并且更專注于自己所要解決的問題 ；不僅僅是統(tǒng)計(jì)分析；統(tǒng)計(jì)分析：統(tǒng)計(jì)分析技術(shù)都基于完善的數(shù)學(xué)理論和高超的技巧，預(yù)測(cè)的準(zhǔn)確度還是令人滿意的，但對(duì)使用者的要求很高 聯(lián)系統(tǒng)計(jì)分析方法學(xué)的延伸和擴(kuò)展 很多的挖掘算法來源于統(tǒng)計(jì)學(xué),前景,預(yù)言：著名的咨詢公司 Gartner Group在（2000年）一次高級(jí)

5、技術(shù)調(diào)查將數(shù)據(jù)挖掘和人工智能列為“未來三到五年內(nèi)將對(duì)工業(yè)產(chǎn)生深遠(yuǎn)影響的五大關(guān)鍵技術(shù)”之首，并且還將并行處理體系和數(shù)據(jù)挖掘列為未來五年內(nèi)投資焦點(diǎn)的十大新興技術(shù)前兩位國(guó)外現(xiàn)狀：成熟、產(chǎn)品：SAS、CLEMENTINE、UNICA、各大數(shù)據(jù)庫國(guó)內(nèi)現(xiàn)狀：起步產(chǎn)品：大部分是實(shí)驗(yàn)室產(chǎn)品,數(shù)據(jù)挖掘分類,挖掘?qū)ο蠡跀?shù)據(jù)庫的挖掘基于web的挖掘基于文本的挖掘其他：音頻、視頻等多媒體數(shù)據(jù)庫,數(shù)據(jù)挖掘分類,應(yīng)用響應(yīng)模型交叉銷售價(jià)值

6、評(píng)估客戶分群,數(shù)據(jù)挖掘分類,挖掘模式預(yù)測(cè)型(Predictive)描述型(Descriptive)實(shí)際作用可分為以下幾種模式：分類：對(duì)沒有分類的數(shù)據(jù)進(jìn)行分類；預(yù)測(cè)：用歷史來預(yù)測(cè)未來；關(guān)聯(lián)分析：關(guān)聯(lián)規(guī)則；聚類：物以類聚；序列模式：在多個(gè)數(shù)據(jù)序列中發(fā)現(xiàn)共同的行為模式;描述和可視化：數(shù)據(jù)挖掘的結(jié)果的表示形式;偏差分析：從數(shù)據(jù)分析中發(fā)現(xiàn)異常情況。,數(shù)據(jù)挖掘分類,我的理解－挖掘的算法分為三個(gè)層次：模式：比如分類、聚類－》

7、模型：決策樹、神經(jīng)網(wǎng)絡(luò)－》算法：ID3、CHAID、BP舉例：分類－決策樹－ID3、CHAID等；聚類－聚類分析－k-means、EM等。,數(shù)據(jù)挖掘分類,挖掘模型決策樹(decision tree)關(guān)聯(lián)規(guī)則(association rules)聚類(clustering)神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks，簡(jiǎn)記作ANN)粗糙集(rough set)概念格(concept lattice)

8、遺傳算法(genetic algorithms)序列模式(sequence pattern)貝葉斯(Bayes)支持向量機(jī)(support vector machine，簡(jiǎn)記作SVM)模糊集(fuzzy set)基于案例的推理(case-based reasoning，簡(jiǎn)記作CBR),決策樹,決策樹學(xué)習(xí)是以實(shí)例為基礎(chǔ)的歸納學(xué)習(xí)算法,著眼于從一組無次序/無規(guī)則的事例中推理出決策樹表示形式的分類規(guī)則；決策樹基本算法是:貪心算法,

9、它以自頂向下遞歸、各個(gè)擊破方式構(gòu)造決策樹.,關(guān)聯(lián)規(guī)則,關(guān)聯(lián)規(guī)則是形式如下的一種規(guī)則，“在購(gòu)買面包和黃油的顧客中，有90％的人同時(shí)也買了牛奶”（面包＋黃油 → 牛奶）； 關(guān)聯(lián)規(guī)則的“三度”：支持度、可信度、興趣度。,聚類,聚類是根據(jù)數(shù)據(jù)的不同特征,將其劃分為不同的簇（cluster）,目的是使得屬于同一個(gè)簇中的對(duì)象之間具有較高的相似度，而不同簇中的對(duì)象差別（相異度）較大；聚類技術(shù)大致分為五種：劃分方法（partitioning me

10、thod）層次方法（hierarchical method）基于密度的方法（density-based method）基于網(wǎng)格的方法（grid-based method）基于模型的方法（model-based method）,神經(jīng)網(wǎng)絡(luò),人工神經(jīng)網(wǎng)絡(luò)，是對(duì)人類大腦系統(tǒng)的中模擬；神經(jīng)網(wǎng)絡(luò)是一組連接的輸入/輸出單元,其中每個(gè)連接都與一個(gè)權(quán)相關(guān)聯(lián),在學(xué)習(xí)階段,通過調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán),使得能夠預(yù)測(cè)輸入樣本的正確類標(biāo)號(hào)來學(xué)習(xí)。激勵(lì)函數(shù)的選

11、擇和權(quán)值的調(diào)整,粗糙集,粗糙集理論是一種研究不精確、不確定性知識(shí)的數(shù)學(xué)工具；粗糙集對(duì)不精確概念的描述方法是：通過上近似概念和下近似概念這兩個(gè)精確概念來表示；一個(gè)概念（或集合）的下近似指的是其中的元素肯定屬于該概念；一個(gè)概念（或集合）的上近似指的是其中的元素可能屬于該概念。 粗糙集方法則有幾個(gè)優(yōu)點(diǎn)：不需要預(yù)先知道的額外信息，如統(tǒng)計(jì)中要求的先驗(yàn)概率和模糊集中要求的隸屬度；算法簡(jiǎn)單，易于操作。 粗糙集理論在知識(shí)發(fā)現(xiàn)研究中有著許多具體應(yīng)用

12、，特別適合于數(shù)據(jù)之間（精確的或近似的）依賴關(guān)系發(fā)現(xiàn)、評(píng)價(jià)某一分類（屬性）的重要性、數(shù)據(jù)相似或差異發(fā)現(xiàn)、數(shù)據(jù)模式發(fā)現(xiàn)、從數(shù)據(jù)中產(chǎn)生一般決策規(guī)則、削減冗余對(duì)象與屬性、尋求屬性的最小子集以確保產(chǎn)生滿意的近似分類等等,粗糙集,舉例,概念格,概念格描述的是對(duì)象和屬性之間的聯(lián)系和統(tǒng)一，表明概念之間的泛化和例化關(guān)系，相應(yīng)的Hasse圖實(shí)現(xiàn)數(shù)據(jù)的可視化 。,遺傳算法,遺傳算法（Genetic Algoritms，簡(jiǎn)稱GA）是以自然選擇和遺傳理論為基礎(chǔ)，

13、將生物進(jìn)化過程中“適者生存”規(guī)則與群體內(nèi)部染色體的隨機(jī)信息交換機(jī)制相結(jié)合的搜索算法 ；遺傳算法主要組成部分包括編碼方案、適應(yīng)度計(jì)算、父代選擇、交換算子和變異算子。,序列模式,是指在多個(gè)數(shù)據(jù)序列中發(fā)現(xiàn)共同的行為模式。通過時(shí)間序列搜索出重復(fù)發(fā)生概率較高的模式。這里強(qiáng)調(diào)時(shí)間序列的影響。例如，在所有購(gòu)買了激光打印機(jī)的人中，半年后80%的人再購(gòu)買新硒鼓，20%的人用舊硒鼓裝碳粉；在所有購(gòu)買了彩色電視機(jī)的人中，有60%的人再購(gòu)買VCD產(chǎn)品

14、；在時(shí)序模式中，需要找出在某個(gè)最短時(shí)間內(nèi)出現(xiàn)比率一直高于某一最小百分比（閾值）的規(guī)則。,貝葉斯,貝葉斯分類是統(tǒng)計(jì)學(xué)的分類方法，其分析方法的特點(diǎn)是使用概率來表示所有形式的不確定性，學(xué)習(xí)或推理都用概率規(guī)則來實(shí)現(xiàn)；樸素貝葉斯分類：假定一個(gè)屬性值對(duì)給定類的影響?yīng)毩⒂谄渌麑傩缘闹?；貝葉斯網(wǎng)絡(luò)：是用來表示變量間連接概率的圖形模式,它提供了一種自然的表示因果信息的方法,用來發(fā)現(xiàn)數(shù)據(jù)間的潛在關(guān)系。,支持向量機(jī),支持向量機(jī)（Support Vect

15、or Machine, SVM）建立在計(jì)算學(xué)習(xí)理論的結(jié)構(gòu)風(fēng)險(xiǎn)最小化(SRM)原則之上。其核心問題是尋找一種歸納原則，以實(shí)現(xiàn)最小化風(fēng)險(xiǎn)，從而實(shí)現(xiàn)最佳的推廣能力。而且SVM一個(gè)重要的優(yōu)點(diǎn)是可以處理線性不可分的情況 。以往的機(jī)器學(xué)習(xí)理論的核心是經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則（ERM）,模糊集,模糊集：不同于經(jīng)典集合，沒有精確邊界的集合；定義：設(shè)X是對(duì)象x的集合，x是X的任一個(gè)元素。X上的模糊集合A定義為一組有序?qū)Γ篈＝{（x，uA(X)）|x?X},

16、其中uA(X)稱為模糊集合A的隸屬度函數(shù)（membership function,MF）MF將集合中的元素映射為0到1之間的隸屬度；隸屬度為0，或者1，則A就退化為經(jīng)典集合。,案例的推理,案例是一段帶有上下文信息的知識(shí),該知識(shí)表達(dá)了推理機(jī)在達(dá)到其目標(biāo)的過程中能起關(guān)鍵作用的經(jīng)驗(yàn),幾個(gè)概念的區(qū)別,分類和聚類分類是指將數(shù)據(jù)歸于一系列已知類別之中的某個(gè)類的分類過程;聚類是根據(jù)客體屬性對(duì)一系列未分類的客體進(jìn)行類別的識(shí)別,把一組個(gè)體按照相似性