流式數(shù)據(jù)的并行分類算法研究.pdf

1、近幾年隨著移動互聯(lián)網(wǎng)技術(shù)的發(fā)展，全球數(shù)據(jù)量與日俱增，人們已經(jīng)進(jìn)入大數(shù)據(jù)時代。隨著大數(shù)據(jù)而來的信息風(fēng)暴正在改變著人們的生活方式、工作方式以及思維方式。傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)也隨著大數(shù)據(jù)時代的到來面臨著巨大的挑戰(zhàn)，其中最大的挑戰(zhàn)是數(shù)據(jù)形態(tài)的改變，處理的數(shù)據(jù)形態(tài)由傳統(tǒng)的靜態(tài)數(shù)據(jù)變?yōu)楹Ａ縿討B(tài)數(shù)據(jù)。流式數(shù)據(jù)是大數(shù)據(jù)中最為典型的一種數(shù)據(jù)形式，它具有海量性、實(shí)時性及時變性等特點(diǎn)，這極大地加大了挖掘算法的復(fù)雜度。因此，如何設(shè)計(jì)出一種能夠適應(yīng)流式數(shù)據(jù)特點(diǎn)的分

2、類算法，有效的解決流式數(shù)據(jù)分類面臨的問題，并從中挖掘新的知識，已成為學(xué)術(shù)界研究的熱點(diǎn)問題。本文從流式數(shù)據(jù)的基本特點(diǎn)入手，重點(diǎn)研究了概念漂移流式數(shù)據(jù)分類并行化的問題。
　　針對概念漂移致分類算法低效、分類精度低等問題，本文從流式數(shù)據(jù)的基本特點(diǎn)出發(fā)，以BP神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)分類器，做了以下三個方面的工作：
　?。?）在分析近年來有關(guān)概念漂移相關(guān)研究成果、特點(diǎn)和產(chǎn)生原因的基礎(chǔ)上，給出了概念漂移的基本概念，總結(jié)了常用的概念漂移檢測方法

3、和處理機(jī)制。繼而針對流式數(shù)據(jù)分類的實(shí)時性要求，提出了采用歐氏距離判斷概念漂移的方法，并給出了概念漂移發(fā)生后的分類模型重新訓(xùn)練和更新機(jī)制。
　?。?）針對分類器能檢測到概念漂移卻無法快速更新分類模型的問題，在增量式學(xué)習(xí)的基礎(chǔ)上，提出了一種增量式BP神經(jīng)網(wǎng)絡(luò)概念漂移數(shù)據(jù)流分類算法——IBPNN-CDCA。該模型能在保存先前學(xué)習(xí)知識的基礎(chǔ)上，通過增量式學(xué)習(xí)動態(tài)更新神經(jīng)元節(jié)點(diǎn)間的權(quán)值，避免了對分類模型重新訓(xùn)練，從而使得BP神經(jīng)網(wǎng)絡(luò)能快速適

4、應(yīng)流式數(shù)據(jù)的變化。
　?。?）針對流式數(shù)據(jù)海量性的特點(diǎn)，研究了使用集群并行化處理流式數(shù)據(jù)的方法，給出了基于Spark的IBPNN-CDCA并行化算法。該算法可以運(yùn)用整個集群的計(jì)算能力對流式數(shù)據(jù)進(jìn)行分類，具有較高的數(shù)據(jù)吞吐量。
　　總之，本文針對流式數(shù)據(jù)的海量性、實(shí)時性與時變性的特點(diǎn)，利用并行化處理可以提高模型數(shù)據(jù)吞吐量的優(yōu)勢，分別提出并設(shè)計(jì)了增量式 BP神經(jīng)網(wǎng)絡(luò)概念漂移數(shù)據(jù)流分類算法及其并行化分類算法。算法利用增量式在線學(xué)習(xí)