數(shù)據(jù)流聚類(lèi)算法及其應(yīng)用.pdf

1、近年來(lái)，伴隨著網(wǎng)絡(luò)信息技術(shù)的高速發(fā)展，產(chǎn)生了一種新式的數(shù)據(jù)模型——數(shù)據(jù)流。它常常產(chǎn)生于web 上的用戶(hù)點(diǎn)擊、網(wǎng)絡(luò)入侵檢測(cè)、實(shí)時(shí)監(jiān)控系統(tǒng)或無(wú)線傳感器網(wǎng)絡(luò)等動(dòng)態(tài)環(huán)境中。相比較傳統(tǒng)據(jù)集，這些海量的數(shù)據(jù)流具有快速性、連續(xù)性、變化性、無(wú)限性等特點(diǎn)，使數(shù)據(jù)流的挖掘面臨著新的要求和挑戰(zhàn)。聚類(lèi)分析作為數(shù)據(jù)挖掘領(lǐng)域的一個(gè)重要課題，能夠使未標(biāo)記數(shù)據(jù)按照指定屬性分組為不同的類(lèi)，在近期得到廣泛研究和高度重視。本文以數(shù)據(jù)流聚類(lèi)算法為研究?jī)?nèi)容，異常數(shù)據(jù)點(diǎn)的檢測(cè)為研

2、究目標(biāo)，主要作了以下三個(gè)方面的工作：
　　 （1)總結(jié)了數(shù)據(jù)流模型及其聚類(lèi)的相關(guān)概念和技術(shù)，并描述了數(shù)據(jù)流聚類(lèi)的特殊要求以及目前國(guó)內(nèi)外數(shù)據(jù)流聚類(lèi)算法。同時(shí)說(shuō)明了異常檢測(cè)的定義、現(xiàn)有方法以及當(dāng)前所面臨的挑戰(zhàn)。
　　 （2)在高速網(wǎng)絡(luò)中，數(shù)據(jù)流具有高速、突發(fā)等特性，使得高速網(wǎng)絡(luò)中的異常檢測(cè)成為一個(gè)難點(diǎn)。本文提出了一種基于SSClu 樹(shù)的流聚類(lèi)算法用于高速流的異常檢測(cè)。算法首先引入一種維持?jǐn)?shù)據(jù)流概要信息的SSClu樹(shù)；然后針對(duì)

3、數(shù)據(jù)流的高速特性，采用預(yù)先聚集和緩存機(jī)制。預(yù)先聚集是在數(shù)據(jù)流對(duì)象插入SSClu 樹(shù)聚類(lèi)之前對(duì)其進(jìn)行預(yù)先聚類(lèi)的過(guò)程，以處理突發(fā)高速數(shù)據(jù)流的到達(dá)；緩存機(jī)制是用于當(dāng)高速流到達(dá)時(shí)，暫存當(dāng)前來(lái)不及處理的數(shù)據(jù)流對(duì)象，解決了高速流不能及時(shí)聚類(lèi)的問(wèn)題。仿真結(jié)果表明，本算法能及時(shí)處理高速數(shù)據(jù)流，且具有較高的聚類(lèi)精度，保證了高速流下異常檢測(cè)的準(zhǔn)確性。
　　 （3)針對(duì)無(wú)線傳感器網(wǎng)絡(luò)中的離群點(diǎn)檢測(cè)問(wèn)題，考慮到無(wú)線傳感器網(wǎng)絡(luò)(Wireless Sens

4、orNetwork,WSN)環(huán)境分布式以及能源消耗的限制，提出了一種基于相似性群集模型的流聚類(lèi)算法(Stream Cluster algorithm Based on Similarity Flocking model,SCBSF)。算法采用一種模擬群體運(yùn)動(dòng)的群集模型將數(shù)據(jù)自我組織來(lái)形成聚類(lèi)，這種自組織性更加適用于分布式環(huán)境批量數(shù)據(jù)點(diǎn)的聚類(lèi)；同時(shí)通過(guò)群集規(guī)則來(lái)完成任意形狀簇的聚類(lèi)，而不需要采用傳統(tǒng)二階段聚類(lèi)思想，減少了算法計(jì)算和存儲(chǔ)復(fù)雜