基于半隨機多決策樹模型的數(shù)據(jù)流概念漂移發(fā)現(xiàn)研究.pdf

1、網(wǎng)絡等信息技術的迅速發(fā)展和廣泛應用產(chǎn)生了大量的數(shù)據(jù)流，如：超市交易記錄、網(wǎng)絡搜索請求、電信通話記錄等。這些數(shù)據(jù)流中隱含著豐富的有價值的知識亟待挖掘。分類算法研究作為數(shù)據(jù)挖掘的一個重要分支，針對數(shù)據(jù)流的分類規(guī)則挖掘研究課題在信用卡欺詐，網(wǎng)絡入侵發(fā)現(xiàn)等領域具有重要的應用價值。 然而，由于數(shù)據(jù)流具有快速性、無限性、連續(xù)性、多變性等特征，特別是其中隱含的概念漂移現(xiàn)象使得大多數(shù)傳統(tǒng)的分類算法因需要多遍掃描數(shù)據(jù)庫以及存儲全部數(shù)據(jù)，而不再適用

2、。因此，研究高效的數(shù)據(jù)流分類知識發(fā)現(xiàn)算法成為重要的研究課題。本文主要針對數(shù)據(jù)流的分類問題開展了以下工作的研究： (1)概述了數(shù)據(jù)流的定義、特點、應用領域、理論基礎及其數(shù)據(jù)處理方法：介紹了概念漂移問題的定義、分類、度量標準等內(nèi)容；總結與分析了數(shù)據(jù)流及其概念漂移問題的現(xiàn)狀，對未來研究進行了展望。 (2)針對傳統(tǒng)決策樹挖掘算法，在處理數(shù)據(jù)流時所存在時空性能的局限，提出基于隨機決策樹模型的半隨機化多決策樹的增量式分類算法SRMT

3、DS。該算法利用Hoeffding邊界不等式，采用啟發(fā)式方法確定連續(xù)屬性結點的分割閾值，同時引入樸素貝葉斯方法判斷葉子結點類別標識。分析與實驗表明，與經(jīng)典算法VFDTc相比，該算法的空間性能和抗噪能力有顯著提高，分類精度有所提升，并且在處理屬性維度較大的連續(xù)型數(shù)據(jù)庫時，其時間性能也有明顯的優(yōu)勢。 (3)針對數(shù)據(jù)流概念漂移問題，以半隨機決策樹模型為基礎，提出處理數(shù)據(jù)流概念漂移問題的增量式分類算法SRMTCD。該算法采用訓練窗口與測