數(shù)據(jù)流分類中概念漂移及噪聲處理研究.pdf

1、隨著計算機(jī)網(wǎng)絡(luò)和信息技術(shù)的快速發(fā)展,股票交易市場、氣象監(jiān)控、網(wǎng)絡(luò)安全、電子商務(wù)等眾多應(yīng)用領(lǐng)域都產(chǎn)生了大量的數(shù)據(jù),其中這些數(shù)據(jù)以流的形式存在,通常稱之為數(shù)據(jù)流。這些數(shù)據(jù)中蘊(yùn)含著大量的有價值的知識亟待挖掘,作為數(shù)據(jù)挖掘的重要分支,分類具有重要的應(yīng)用價值,因此數(shù)據(jù)流分類技術(shù)已成為數(shù)據(jù)挖掘的熱點(diǎn)之一。由于數(shù)據(jù)流的快速性、連續(xù)性和不可重復(fù)性三個特點(diǎn),使之傳統(tǒng)的數(shù)據(jù)挖掘算法難以有效地對其數(shù)據(jù)進(jìn)行處理。而且,數(shù)據(jù)流中數(shù)據(jù)隱含的目標(biāo)概念可能會隨著時間或

2、者環(huán)境的變化而改變,即概念漂移。另一方面,在現(xiàn)實環(huán)境中噪聲數(shù)據(jù)不可避免,噪聲數(shù)據(jù)的存在同樣影響了數(shù)據(jù)流分類模型的分類精度。因此如何有效地檢測概念漂移和處理噪聲數(shù)據(jù)給數(shù)據(jù)流分類挖掘技術(shù)帶來了極大的挑戰(zhàn)。
　　 本文針對數(shù)據(jù)流分類挖掘中概念漂移和噪聲處理的問題展開了下面工作的研究:
　　 (1)概述并分析了已有的數(shù)據(jù)流分類挖掘算法在處理概念漂移和噪聲數(shù)據(jù)問題上的優(yōu)缺點(diǎn)。
　　 (2)針對數(shù)據(jù)流分類中概念漂移的處理存在

3、的問題,基于LDA(1inear discriminantanalysis)思想,提出了一種數(shù)據(jù)流分類算法IUDE(Incremental Updated Discriminanteigenspace)。該算法通過分析數(shù)據(jù)的特征空間,建立數(shù)據(jù)特征空間的模型,使用最近鄰分類技術(shù)對新的數(shù)據(jù)進(jìn)行分類。算法中使用增量的LDA方法來更新數(shù)據(jù)的特征空間來處理漸進(jìn)式的概念漂移,同時使用錯誤率方差MSE(Mean Square Error)模型來處理突

4、變式的概念漂移。實驗表明,該算法可以很好解決漸進(jìn)式和突變式兩種類型概念漂移同時發(fā)生的數(shù)據(jù)流分類精度不高的問題。
　　 (3)當(dāng)隱含概念漂移的數(shù)據(jù)流中存在噪聲數(shù)據(jù)時,現(xiàn)有的數(shù)據(jù)流分類算法的分類精度明顯下降。針對該問題,提出了一種處理數(shù)據(jù)流中噪聲數(shù)據(jù)的方法FDBSCAN(Fast-DBSCAN),它是DBSCAN(Density Based Spatial Clustering of Applicationwith Noise)聚類