數(shù)據(jù)流系綜分類算法研究.pdf

1、數(shù)據(jù)挖掘是一種從海量數(shù)據(jù)中發(fā)現(xiàn)有用信息的技術(shù)，目前已被廣泛應(yīng)用于金融、電信、網(wǎng)絡(luò)、氣象等諸多領(lǐng)域。分類作為數(shù)據(jù)挖掘的重要組成部分，引起了眾多學(xué)者的廣泛關(guān)注，并取得了一系列杰出的成果。但近年來由于數(shù)據(jù)流應(yīng)用的日益廣泛，其快速到達(dá)、迅速變化、海量、潛在無限的特點(diǎn)，使得原來針對(duì)靜態(tài)數(shù)據(jù)庫的分類算法越來越不能適應(yīng)數(shù)據(jù)流的規(guī)實(shí)。大量的研究工作表明，分類器系綜通過訓(xùn)練多個(gè)分類器系綜表決，從根本上增強(qiáng)分類算法的抗噪和抗概念漂移能力，大大提升分類精度。

2、但由于數(shù)據(jù)流處理的特殊性，導(dǎo)致傳統(tǒng)系綜算法在效率和計(jì)算開銷上制約了分類器的性能。針對(duì)這一問題，本文分別從串行優(yōu)化和并行優(yōu)化兩方面分別提出按需系綜的數(shù)據(jù)流分類算法以及基于云計(jì)算的數(shù)據(jù)流系綜分類算法。
　　 按需系綜數(shù)據(jù)流分類算法針對(duì)傳統(tǒng)分類器系綜數(shù)據(jù)流分類算法高內(nèi)存消耗和計(jì)算開銷的問題，按需動(dòng)態(tài)調(diào)整分類器的個(gè)數(shù)和權(quán)值，從而達(dá)到既保持較高分類精度，又降低開銷的目的。通過對(duì)兩種人工數(shù)據(jù)流的實(shí)驗(yàn)分析，算法對(duì)隱含概念漂移的數(shù)據(jù)流的分類效率

3、和精度都有一定的提升，同時(shí)內(nèi)存開銷也有較大幅度的降低。
　　 云計(jì)算為海量數(shù)據(jù)的分析和貯存提供了經(jīng)濟(jì)、快速的解決方案，對(duì)于海量數(shù)據(jù)挖掘中最具挑戰(zhàn)的領(lǐng)域-云計(jì)算數(shù)據(jù)流挖掘算法的研究，具有極高的理論參考價(jià)值和廣闊的實(shí)際應(yīng)用前景。通過綜合分析數(shù)據(jù)流分類算法以及云計(jì)算的基本理論，提出了基于Hadoop框架的數(shù)據(jù)流系綜分類算法，算法采用MapReduce并行編程模型對(duì)傳統(tǒng)基于動(dòng)態(tài)權(quán)重系綜模型進(jìn)行改進(jìn)，以提升算法的分類效率。實(shí)驗(yàn)結(jié)果表明，該