面向大數(shù)據(jù)的流分類挖掘算法及其概念漂移應(yīng)用研究.pdf

1、隨著云計算、物聯(lián)網(wǎng)等技術(shù)的興起，流數(shù)據(jù)作為一種新型的大數(shù)據(jù)形態(tài)廣泛存在于電信、互聯(lián)網(wǎng)、金融等領(lǐng)域。這些領(lǐng)域中產(chǎn)生的流數(shù)據(jù)具有數(shù)據(jù)量龐大、實時性要求高、數(shù)據(jù)動態(tài)變化和數(shù)據(jù)形式復(fù)雜等特點，這使得傳統(tǒng)針對靜態(tài)數(shù)據(jù)的數(shù)據(jù)挖掘不再適用于當前面向大數(shù)據(jù)的數(shù)據(jù)挖掘，因此面向大數(shù)據(jù)的流分類挖掘算法及其概念漂移研究成為當前亟待解決的問題。
　　現(xiàn)有的針對分類算法和其概念漂移的研究成果主要還是依賴于數(shù)據(jù)結(jié)構(gòu)和算法優(yōu)化上，主要還是通過計算資源有限的獨立

2、計算機完成數(shù)據(jù)挖掘以及概念漂移的檢測。但是大數(shù)據(jù)的的數(shù)據(jù)量級和數(shù)據(jù)復(fù)雜度不斷增長和升級，使得僅僅依賴于算法本身和單機計算資源是不夠的。采用分布式計算平臺來應(yīng)對大數(shù)據(jù)環(huán)境下算法的時間復(fù)雜度和空間復(fù)雜度的巨大消耗以及解決數(shù)據(jù)流中概念漂移的問題成為人們關(guān)注的重點。
　　因此，本文提出基于分布式計算平臺Storm的流分類挖掘算法及系統(tǒng)，主要用于解決面向大數(shù)據(jù)的流分類中出現(xiàn)的突變型概念漂移和漸進型概念漂移問題。針對數(shù)據(jù)流中的漸進型概念漂移問

3、題，本文采用并行化窗口方案提前預(yù)測數(shù)據(jù)流中是否發(fā)生概念漂移，自適應(yīng)的改變數(shù)據(jù)的流入的的速率，從而提高建樹模型的準確率和效率。實驗結(jié)果表明S-CVFDT（Concept drifting Very Fast Decision Tree based on Storm）算法較原先的CVFDT（Concept drifting Very Fast Decision Tree）算法可以有效地檢測到數(shù)據(jù)流中的概念漂移，并盡快恢復(fù)到較高的建樹模型準確

4、率。另外，針對數(shù)據(jù)流中的突變型概念漂移如流媒體視頻中視頻熱點的突變性，本論文提出用于解決視頻服務(wù)器緩存的視頻熱點資源預(yù)測算法MCVFDT（Media Concept drifting Very Fast Decision Tree），該算法主要用于在視頻緩存資源有限的情況下對視頻熱點進行預(yù)判，使得內(nèi)容服務(wù)器的緩存中保持熱點資源的存儲，從而提高用戶感受，提升服務(wù)質(zhì)量。同時也為緩存設(shè)備遷移數(shù)據(jù)，動態(tài)調(diào)整負載等等方面提供了一個更可靠的標準。最