海量動(dòng)態(tài)數(shù)據(jù)流分類方法研究.pdf

1、分類問題作為數(shù)據(jù)挖掘領(lǐng)域一個(gè)經(jīng)典而重要的課題，一直受到學(xué)術(shù)界的關(guān)注。然而，隨著物聯(lián)網(wǎng)的推廣以及“大數(shù)據(jù)”時(shí)代的到來，傳統(tǒng)數(shù)據(jù)分類方法正面臨新的挑戰(zhàn)，首當(dāng)其沖的就是數(shù)據(jù)形式的變化，從傳統(tǒng)的靜態(tài)數(shù)據(jù)向動(dòng)態(tài)的數(shù)據(jù)流形式轉(zhuǎn)變。與靜態(tài)數(shù)據(jù)相比，動(dòng)態(tài)數(shù)據(jù)流具有三個(gè)特點(diǎn)，即海量性、實(shí)時(shí)性和動(dòng)態(tài)變化性，這些特點(diǎn)大大增加了數(shù)據(jù)流分類的難度。因此如何設(shè)計(jì)一種數(shù)據(jù)流分類模型，不僅能夠滿足數(shù)據(jù)流特點(diǎn)，而且能夠?qū)?shù)據(jù)流進(jìn)行有效分類，成為當(dāng)前學(xué)術(shù)界研究的熱點(diǎn)問題。

2、本文主要從數(shù)據(jù)流的三種特點(diǎn)（海量性、實(shí)時(shí)性和動(dòng)態(tài)變化性）入手，對(duì)數(shù)據(jù)流分類問題展開研究。針對(duì)數(shù)據(jù)流特點(diǎn)，本文提出了三種數(shù)據(jù)流分類模型:(1)針對(duì)數(shù)據(jù)流海量性特點(diǎn)，設(shè)計(jì)了基于集成學(xué)習(xí)思想的數(shù)據(jù)流分類模型，利用多分類模型對(duì)海量數(shù)據(jù)進(jìn)行分類;(2)針對(duì)數(shù)據(jù)流實(shí)時(shí)性特點(diǎn)，設(shè)計(jì)了基于增量式學(xué)習(xí)的數(shù)據(jù)流實(shí)時(shí)分類模型，通過控制訓(xùn)練集大小，從而加速模型更新速度，滿足實(shí)時(shí)性分類的要求;(3)針對(duì)數(shù)據(jù)流動(dòng)態(tài)變化性問題，提出了一種基于概念漂移檢測的數(shù)據(jù)流分類

3、模型，將概念漂移檢測機(jī)制與分類模型相結(jié)合，提高分類模型的抗概念漂移能力。論文主要完成的具體工作如下:
　　(1)針對(duì)數(shù)據(jù)流海量性特點(diǎn)所造成的數(shù)據(jù)內(nèi)部復(fù)雜，且傳統(tǒng)單模型分類模型對(duì)于復(fù)雜數(shù)據(jù)環(huán)境學(xué)習(xí)的不充分問題，提出了一種基于集成學(xué)習(xí)思想的數(shù)據(jù)流分類模型。該模型以支持向量機(jī)(Support vector machine，SVM)模型為基礎(chǔ)，通過結(jié)合不同核函數(shù)構(gòu)建集成學(xué)習(xí)模型。然后，使用自組織映射(Self-organizing map

4、，SOM)算法對(duì)個(gè)體分類器給出的分類結(jié)果進(jìn)行匯總，最終得到分類結(jié)果。最終通過實(shí)驗(yàn)驗(yàn)證所提出基于集成學(xué)習(xí)的數(shù)據(jù)流分類模型的有效性。
　　(2)針對(duì)數(shù)據(jù)流實(shí)時(shí)性特點(diǎn)，受到集成學(xué)習(xí)思想的啟發(fā)，設(shè)計(jì)了一種基于輪轉(zhuǎn)式結(jié)構(gòu)的增量式數(shù)據(jù)流分類模型。該模型將多個(gè)SVM模型嵌入到輪轉(zhuǎn)式框架中，且SVM模型使用增量式學(xué)習(xí)方法進(jìn)行更新，通過對(duì)訓(xùn)練集樣本數(shù)量進(jìn)行控制，只對(duì)未被學(xué)習(xí)過的數(shù)據(jù)進(jìn)行學(xué)習(xí)，而對(duì)已學(xué)習(xí)過的數(shù)據(jù)則不會(huì)重復(fù)學(xué)習(xí)，從而減少訓(xùn)練集中樣本數(shù)量

5、，加速分類模型更新速度，滿足數(shù)據(jù)流實(shí)時(shí)性分類的要求。
　　(3)針對(duì)數(shù)據(jù)流動(dòng)態(tài)變化性特點(diǎn)（概念漂移），提出了一種基于概念漂移檢測的數(shù)據(jù)流分類模型，對(duì)數(shù)據(jù)流分類模型無法適應(yīng)概念漂移現(xiàn)象的問題進(jìn)行解決。該模型在分類之前，使用信息熵對(duì)數(shù)據(jù)塊是否發(fā)生概念漂移進(jìn)行判斷，對(duì)已出現(xiàn)過的歷史概念，使用一種分類器池機(jī)制對(duì)其進(jìn)行保存，使得分類模型具有更強(qiáng)的抗概念漂移的能力。在此基礎(chǔ)上，設(shè)計(jì)一種概念漂移可視化方法，對(duì)數(shù)據(jù)流中的概念以及不同概念之間的關(guān)系

6、進(jìn)行展示，力求從概念層面對(duì)數(shù)據(jù)流概念漂移現(xiàn)象進(jìn)行理解和分析。
　　本文的主要成果在于對(duì)數(shù)據(jù)流三個(gè)特點(diǎn)，即海量性、實(shí)時(shí)性和動(dòng)態(tài)變化性，進(jìn)行深入研究，探索了集成學(xué)習(xí)分類結(jié)果匯總、增量式學(xué)習(xí)機(jī)制和概念漂移檢測等問題。提出了一種SVM-SOM的集成數(shù)據(jù)流分類模型，利用多SVM模型對(duì)數(shù)據(jù)流進(jìn)行分類，并使用SOM模型對(duì)類別結(jié)果進(jìn)行匯總;提出了基于輪轉(zhuǎn)式框架的數(shù)據(jù)流增量式分類模型，通過使用增量式學(xué)習(xí)方法對(duì)模型更新，有效減少模型更新所消耗時(shí)間，提