數(shù)據(jù)流在線分類算法的研究與實(shí)現(xiàn).pdf

1、數(shù)據(jù)流挖掘是數(shù)據(jù)挖掘中的一個(gè)重要部分,相對(duì)于傳統(tǒng)的靜態(tài)數(shù)據(jù),數(shù)據(jù)流連續(xù)、單遍掃描、快速變化、海量無窮的特點(diǎn)使數(shù)據(jù)流的挖掘面臨著新的挑戰(zhàn),因此靜態(tài)數(shù)據(jù)的分析技術(shù)已不適合于數(shù)據(jù)流分析,設(shè)計(jì)單遍掃描、實(shí)時(shí)、快速的算法是非常必要的。作為數(shù)據(jù)流挖掘的重要組成部分,數(shù)據(jù)流分類研究也面臨同樣的問題,分類模型應(yīng)用在快速到來的數(shù)據(jù)流上,需要快速給出預(yù)測(cè)結(jié)果。并且實(shí)際應(yīng)用中的數(shù)據(jù)流分布不是靜止不變的,因而為了適應(yīng)數(shù)據(jù)分布的動(dòng)態(tài)變化,分類模型必須做出相應(yīng)的更

2、新或重新訓(xùn)練操作。
　　 本文從概念漂移的檢測(cè)及適應(yīng)方面著手進(jìn)行了研究。一方面,針對(duì)數(shù)據(jù)快速流入及變化的特點(diǎn),提出了基于聚類的分類方法,利用聚類方式將訓(xùn)練集中的數(shù)據(jù)以相同分布聚類到相同的聚簇中,并基于每個(gè)簇訓(xùn)練單獨(dú)的分類模型,當(dāng)未知類別的新記錄到來時(shí),用與其最接近的模型進(jìn)行預(yù)測(cè)分類。同時(shí)在分類過程中采用更新機(jī)制維持算法總體分類精確度,以及通過從誤分類記錄中啟發(fā)式學(xué)習(xí)訓(xùn)練新分類器以適應(yīng)概念漂移；另一方面,研究了概念重復(fù)規(guī)律性出現(xiàn)的

3、情況下,如何減少模型的更新以提高分類預(yù)測(cè)的速度及精度,考慮實(shí)際應(yīng)用中,數(shù)據(jù)流概念的數(shù)量的有限性,并且隨著時(shí)間的推移,這些概念會(huì)周期性重復(fù)出現(xiàn),因此提出了充分利用歷史概念的信息,利用已存在的分類模型對(duì)數(shù)據(jù)流進(jìn)行分類,進(jìn)而提高分類的速度。
　　 實(shí)驗(yàn)表明,本文提出的基于聚類的數(shù)據(jù)流分類方法在分類準(zhǔn)確性和運(yùn)行效率方面較傳統(tǒng)方法具有更大的優(yōu)勢(shì),而對(duì)具有周期性概念漂移的數(shù)據(jù)流的分類算法在保證分類精度的前提下,提高了在線分類工作的效率。