基于增量存儲的商業(yè)數(shù)據(jù)流分類挖掘算法研究與應(yīng)用.pdf

1、數(shù)據(jù)流挖掘目前已成為數(shù)據(jù)挖掘的熱點話題，如挖掘通信領(lǐng)域中的電話記錄數(shù)據(jù)流以期發(fā)現(xiàn)潛在的優(yōu)質(zhì)客戶、挖掘Web上的用戶點擊數(shù)據(jù)流、網(wǎng)絡(luò)監(jiān)測中的數(shù)據(jù)包流以期發(fā)現(xiàn)可能存在的黑客攻擊、挖掘零售業(yè)務(wù)中的交易數(shù)據(jù)流以期實現(xiàn)相關(guān)服務(wù)的推薦等。以上案例都是對動態(tài)商業(yè)數(shù)據(jù)流進(jìn)行挖掘，與傳統(tǒng)數(shù)據(jù)的挖掘不同，商業(yè)數(shù)據(jù)流挖掘必須適應(yīng)數(shù)據(jù)的海量、連續(xù)、突變、保密、快速處理及更新、僅讀取一次等特點。商業(yè)數(shù)據(jù)流的突變性引發(fā)了其所蘊含的概念隨著時間而變化的，正是由于隨時

2、間的持續(xù)變化，必然會導(dǎo)致概念模型的更新，進(jìn)而引起概念漂移(Concept Drift)問題。數(shù)據(jù)流的以上特點使得數(shù)據(jù)流上的分類模型不同于傳統(tǒng)的分類模型，需要能夠快速的處理流入的數(shù)據(jù)，并且及時對模型進(jìn)行調(diào)整以反映新的分類信息。
　　 本文在國內(nèi)外研究基礎(chǔ)上首先研究了數(shù)據(jù)流的存儲問題，提出了數(shù)據(jù)流的增量存儲結(jié)構(gòu)——增量存儲樹；接著，研究了數(shù)據(jù)流中存在的概念漂移現(xiàn)象，提出了集成貝葉斯分類技術(shù)，以及基于2次方的增量存儲樹更新策略；最后，

3、通過上面的研究提出了基于增量存儲樹的數(shù)據(jù)流中隱含概念漂移的分類挖掘算法(CMCD-ST)，并以插件的形式開發(fā)了CMCD-ST應(yīng)用程序。主要研究內(nèi)容包括：
　　 第一，對數(shù)據(jù)挖掘、數(shù)據(jù)挖掘的商業(yè)應(yīng)用背景、數(shù)據(jù)流分類挖掘及其現(xiàn)有模型等相關(guān)理論進(jìn)行研究，總結(jié)出目前該領(lǐng)域的最新研究成果，以期取其之長運用到商業(yè)數(shù)據(jù)流相關(guān)任務(wù)的挖掘上。
　　 第二，針對數(shù)據(jù)流的存儲進(jìn)行研究。基于對Bayesian算法的特性以及數(shù)據(jù)流的特性分析，本文

4、提出了動態(tài)增量存儲樹結(jié)構(gòu)，該結(jié)構(gòu)把以記錄為單位進(jìn)行存儲的數(shù)據(jù)轉(zhuǎn)變?yōu)閷傩源鎯洌瑯涞拇笮∈怯蓪傩?、屬性值和分類的類別數(shù)量決定的。由此數(shù)據(jù)流的存儲容量不是由記錄數(shù)決定的，而是由屬性、屬性值和分類的類別數(shù)量共同決定，從而解決了動態(tài)數(shù)據(jù)流挖掘最大的難題——數(shù)據(jù)存儲問題。
　　 第三，對數(shù)據(jù)流屬性間的多重線性相關(guān)等進(jìn)行研究，采用自助抽樣技術(shù)對待分類數(shù)據(jù)中的屬性進(jìn)行裁剪和優(yōu)化，解決了數(shù)據(jù)屬性間的多重線性相關(guān)問題。
　　 第四，針對數(shù)