基于雙層網(wǎng)格和密度的數(shù)據(jù)流聚類算法研究.pdf

1、自上個世紀(jì)后期以來,數(shù)據(jù)的獲取技術(shù)日益發(fā)展壯大,在數(shù)據(jù)庫已有的技術(shù)之上不斷的推陳出新,信息的日益膨脹改變著傳統(tǒng)的數(shù)據(jù)提取方式。數(shù)據(jù)流逐漸成為一種主流的數(shù)據(jù)形式,如何從中快速高效提取有價(jià)值的信息,逐漸成為數(shù)據(jù)挖掘領(lǐng)域的熱點(diǎn)問題。針對數(shù)據(jù)流的動態(tài)變化特性,數(shù)據(jù)流的聚類一定要是動態(tài)執(zhí)行的,能夠?qū)?shù)據(jù)進(jìn)行不間斷的處理,其次,對于挖掘結(jié)果的表現(xiàn)形式要直觀且簡潔。此外,數(shù)據(jù)流聚類算法要能夠表現(xiàn)出數(shù)據(jù)流動態(tài)演化的過程,并對聚類的結(jié)果能夠動態(tài)的進(jìn)行維護(hù)

2、,體現(xiàn)數(shù)據(jù)流的時效性。基于網(wǎng)格的聚類方法利用空間的多維屬性將數(shù)據(jù)的聚類以網(wǎng)格的形式進(jìn)行,對數(shù)據(jù)的輸入順序不敏感,能對各種形狀的簇進(jìn)行聚類。
　　傳統(tǒng)的基于網(wǎng)格的數(shù)據(jù)流聚類算法由于是在同一粒度的網(wǎng)格上進(jìn)行聚類,雖然提高了處理速度,但聚類準(zhǔn)確性往往比較低。針對此問題,在對傳統(tǒng)網(wǎng)格硬性劃分所存在的缺陷進(jìn)行改進(jìn)的基礎(chǔ)上,提出了“雙層網(wǎng)格”的概念,并在D-Stream算法的基礎(chǔ)上提出新的基于雙層網(wǎng)格和密度的數(shù)據(jù)流聚類算法 DBG-Strea

3、m。算法在兩種粒度的網(wǎng)格上對數(shù)據(jù)流進(jìn)行聚類,并借鑒了CluStream算法的思想,將聚類過程分為兩個階段。在線過程中利用粗粒度的網(wǎng)格單元形成初始聚類,離線過程中在細(xì)粒度網(wǎng)格單元上對位于簇邊界的網(wǎng)格單元進(jìn)行二次聚類以提高聚類精度,并以金字塔時間框架存儲快照,以便用戶分析數(shù)據(jù)流的演變情況。此外還實(shí)現(xiàn)了關(guān)鍵參數(shù)的自動設(shè)置,減少算法對人工輸入的依賴。通過對初始聚類的順序進(jìn)行調(diào)整,避免了孤立簇的形成。此外,通過制定刪格策略進(jìn)一步減少了內(nèi)存的消耗有