面向概念漂移數(shù)據(jù)流的在線集成分類算法研究與應(yīng)用.pdf

1、在過去的幾十年里，數(shù)據(jù)挖掘分類算法發(fā)展迅速，出現(xiàn)了許許多多性能較好的算法。然而，隨著大數(shù)據(jù)時(shí)代的到來，由于數(shù)據(jù)量的增大，數(shù)據(jù)的多樣性增加以及數(shù)據(jù)的產(chǎn)生速度加快，這些基于靜態(tài)數(shù)據(jù)挖掘的傳統(tǒng)分類算法已經(jīng)很難再保證良好的應(yīng)用可行性以及較高的分類準(zhǔn)確率。因此，針對(duì)大數(shù)據(jù)流，需要提出新的分類算法。本次研究所依賴的車聯(lián)網(wǎng)項(xiàng)目正是需要這類新的算法。
　　本文的研究?jī)?nèi)容是集成分類方法的改進(jìn)與應(yīng)用，主要包含三個(gè)方面的內(nèi)容。首先，本文將對(duì)現(xiàn)有兩類集成

2、方法進(jìn)行研究，歸納兩類集成方法為適應(yīng)動(dòng)態(tài)數(shù)據(jù)流所做的努力，并基于這些研究提出改進(jìn)集成方法的通用策略。然后，基于第一項(xiàng)工作中所提出的改進(jìn)策略，本文還將對(duì)兩個(gè)典型的集成方法 AUE、OSBoost進(jìn)行改進(jìn)。AUE算法作為塊集成方法的代表，本次研究將主要考慮將它轉(zhuǎn)變?yōu)樵诰€方法。OSBoost作為在線方法的代表，本次研究將主要考慮提升該算法的準(zhǔn)確率。最后，本文還將研究如何把現(xiàn)有集成方法應(yīng)用到實(shí)踐中去。
　　本文的主要成果如下：
　　

3、1、基于現(xiàn)有算法，提出了三種改進(jìn)集成方法的通用策略。首先，使用增量式賦權(quán)機(jī)制能夠確保模型對(duì)最近最新的數(shù)據(jù)有較高的適應(yīng)能力。其次，使用自適應(yīng)分類器作為集成組件能夠大幅度提升集成方法對(duì)突變型概念漂移的適應(yīng)能力。最后，概念漂移檢測(cè)器的使用，使得集成方法能夠更精確的識(shí)別概念漂移并適應(yīng)概念漂移。實(shí)驗(yàn)表明，這三種策略對(duì)集成方法的泛化準(zhǔn)確率具有不同程度的提升。
　　2、基于上一結(jié)論，對(duì)兩種集成方法進(jìn)行了改進(jìn)。首先，針對(duì)塊集成方法AUE，本文通過

4、設(shè)計(jì)并對(duì)比四種改進(jìn)方案的結(jié)果，提出了在線集成算法OAUEAdwin。然后，針對(duì)在線方法 OSBoost算法，本文通過增加概念漂移檢測(cè)器并修改其賦權(quán)機(jī)制將其改進(jìn)為OSBoostAdwin算法。實(shí)驗(yàn)結(jié)果表明，新的算法具有更高的泛化準(zhǔn)確率。同時(shí)，也再次證明了三種改進(jìn)策略的可行性。
　　3、為了探索集成方法的應(yīng)用可行性，本次研究還基于VRSS平臺(tái)與MOA平臺(tái)整合出了實(shí)時(shí)數(shù)據(jù)流挖掘平臺(tái) VRSS-MOA。基于 VRSS-MOA平臺(tái)，本文對(duì)比