數(shù)據(jù)流中概念漂移檢測與分類方法研究.pdf

1、實際應用領域產(chǎn)生了大量的數(shù)據(jù)流，例如:電子商務交易記錄、網(wǎng)絡搜索請求、電信通話記錄等，這些數(shù)據(jù)流中隱含著豐富的有價值的知識亟待挖掘。然而，由于數(shù)據(jù)流具有的快速性、無限性、連續(xù)性、多變性等特征，尤其是現(xiàn)實數(shù)據(jù)流中存在的概念漂移及其大量類標簽缺失的問題，使得已有的分類方法面臨巨大的挑戰(zhàn)。因此，開展數(shù)據(jù)流環(huán)境下的概念漂移檢測與分類方法研究具有重要的研究與應用價值。
　　 針對數(shù)據(jù)流分類任務中的概念漂移與類標簽缺失等問題，本文開展了以下

2、研究工作:(1)研究面向數(shù)據(jù)流環(huán)境的實時、低耗、抗噪的形式化描述模型;(2)基于構(gòu)建的形式化描述模型，研究有效的概念漂移檢測機制;(3)研究類標簽缺失數(shù)據(jù)流（即不完全標記數(shù)據(jù)流）環(huán)境下的概念漂移檢測與分類算法。
　　 主要研究內(nèi)容如下:
　　 (1)不同于傳統(tǒng)的靜態(tài)數(shù)據(jù)，數(shù)據(jù)流具有快速、多變、無限、連續(xù)等新型數(shù)據(jù)特征，使得經(jīng)典的數(shù)據(jù)挖掘分類模型如:決策樹、神經(jīng)網(wǎng)絡、支持向量機等面臨分類精度、時空性能等方面的挑戰(zhàn)。為此，本

3、文提出面向數(shù)據(jù)流環(huán)境的變體隨機決策樹(Variants of RandomDecision Trees)的形式化描述模型，同時，基于此模型設計了ERDT(Ensembling RandomDecision Trees)系列算法。與經(jīng)典算法相比，該系列算法能快速適應數(shù)據(jù)流環(huán)境，提高分類精度與時空效率;
　　 (2)針對數(shù)據(jù)流中不同類型的概念漂移以及噪音在概念漂移檢測中的影響，提出基于變體隨機決策樹模型的雙閾值概念漂移檢測方法，該方

4、法能有效地從噪音數(shù)據(jù)中檢測出不同類型的概念漂移，而基于此形成的數(shù)據(jù)流概念漂移檢測與分類算法——ERDTC系列算法及其改進算法CDRDT在分類精度、時空開銷方面比已有同類概念漂移數(shù)據(jù)流分類算法具有顯著優(yōu)勢;
　　 (3)針對實際應用數(shù)據(jù)流中類標簽大量缺失的問題，提出不完全標記數(shù)據(jù)流中概念漂移檢測與分類算法——SUN算法。該算法采用增量式?jīng)Q策樹模型將訓練示例對應到葉子節(jié)點，進而在葉子節(jié)點采用聚類方法（如:k-Modes）生成聚類簇，

5、最后利用帶標簽示例的信息標記無標簽示例。同時，為適應數(shù)據(jù)流中的概念漂移現(xiàn)象，提出基于聚類簇差異度量的概念漂移檢測方法。大量實驗表明:與經(jīng)典的數(shù)據(jù)流概念漂移檢測與分類方法以及半監(jiān)督學習分類方法相比，SUN算法在保證分類精度與標記無標簽示例正確率的同時，能夠適應數(shù)據(jù)流中的概念漂移，尤其是突變式與抽樣變化的概念漂移;
　　 (4)進一步針對不完全標記數(shù)據(jù)流中重現(xiàn)概念漂移問題，提出面向連續(xù)屬性數(shù)據(jù)流處理的重現(xiàn)概念漂移檢測與分類算法——R

6、EDLLA算法。該算法采用k-Means在增量式構(gòu)建決策樹的葉子節(jié)點標記無標簽示例;在此基礎上，提出基于聚類簇差異度量的概念漂移檢測的改進機制，即采用存儲歷史概念簇的機制，同時更新概念漂移的檢測條件。實驗表明:REDLLA算法能快速地適應重現(xiàn)概念漂移，同時，在分類精度、時間消耗等方面比同類的數(shù)據(jù)流分類算法具有顯著優(yōu)勢;
　　 (5)以實際應用領域Yahoo網(wǎng)絡購物數(shù)據(jù)與電廠電價調(diào)度數(shù)據(jù)為應用數(shù)據(jù)源，實驗驗證了所設計的數(shù)據(jù)流形式化