數(shù)據(jù)流中基于區(qū)間劃分的高維聚類算法研究.pdf

1、隨著數(shù)據(jù)規(guī)模的不斷增大以及數(shù)據(jù)維數(shù)的不斷增長(zhǎng)，傳統(tǒng)的聚類算法已經(jīng)無法獲得有意義的聚類結(jié)果。針對(duì)高維數(shù)據(jù)流的聚類問題，本文將重點(diǎn)放在聚類過程中存儲(chǔ)空間的有效利用、聚類結(jié)果的更新以及聚類算法對(duì)數(shù)據(jù)的適用性上，并提出兩種聚類算法：基于最優(yōu)區(qū)間劃分的動(dòng)態(tài)聚類算法和基于空間劃分的信息熵聚類算法。
　　本文首先定義了基于內(nèi)存的數(shù)據(jù)集劃分方法，這種區(qū)間劃分方法使得劃分后的區(qū)間大小與存儲(chǔ)單元大小匹配，避免了存儲(chǔ)單元內(nèi)部閑置帶來的資源浪費(fèi)問題。在此

2、基礎(chǔ)之上，提出兩種區(qū)間劃分方式：將最優(yōu)區(qū)間劃分為高密網(wǎng)格和將數(shù)據(jù)空間劃分為單位空間。
　　其次，設(shè)計(jì)了一種基于最優(yōu)區(qū)間劃分的動(dòng)態(tài)聚類算法DOIC。該算法通過基于內(nèi)存的數(shù)據(jù)集劃分和最優(yōu)區(qū)間劃分得到高密網(wǎng)格，使數(shù)據(jù)集的劃分更貼近數(shù)據(jù)的實(shí)際分布特征；通過HDU樹的創(chuàng)建和合并，以解決數(shù)據(jù)的聚類及更新問題；同時(shí)，為了消除歷史數(shù)據(jù)對(duì)聚類結(jié)果的影響，利用權(quán)值以實(shí)現(xiàn)在聚類過程中對(duì)歷史數(shù)據(jù)的逐步廢棄。該算法的數(shù)據(jù)空間伸縮性和聚類效果較以往算法都有所