基于同步的數(shù)據(jù)流分層壓縮研究.pdf

1、數(shù)據(jù)流已成為當(dāng)前大數(shù)據(jù)時(shí)代數(shù)據(jù)的主要表現(xiàn)形式之一，如傳感器數(shù)據(jù)、軌跡數(shù)據(jù)、社交數(shù)據(jù)、交通數(shù)據(jù)等都能以數(shù)據(jù)流形式體現(xiàn)。如何有效地分析和挖掘數(shù)據(jù)流已成為當(dāng)前數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)研究的重點(diǎn)和難點(diǎn)問(wèn)題。有別于傳統(tǒng)的靜態(tài)數(shù)據(jù)，數(shù)據(jù)流數(shù)據(jù)具有實(shí)時(shí)、海量、連續(xù)、演化等特征，使得數(shù)據(jù)流上的挖掘任務(wù)比傳統(tǒng)數(shù)據(jù)的挖掘要面臨更多的問(wèn)題和挑戰(zhàn)。針對(duì)數(shù)據(jù)流中數(shù)據(jù)的海量性和實(shí)時(shí)性，數(shù)據(jù)流挖掘任務(wù)需要在有限的時(shí)間和空間下進(jìn)行。因此，如何有效的對(duì)數(shù)據(jù)流中的數(shù)據(jù)進(jìn)行壓縮成

2、為數(shù)據(jù)流挖掘領(lǐng)域的一個(gè)重要研究課題。目前傳統(tǒng)的數(shù)據(jù)流壓縮方法如采樣、投影、降維、聚類等，幾乎都針對(duì)數(shù)據(jù)流中數(shù)據(jù)的海量性或?qū)崟r(shí)性進(jìn)行研究，往往忽略了數(shù)據(jù)流的演化特征。因此，如何對(duì)具有概念漂移的數(shù)據(jù)流進(jìn)行聚類和壓縮成為研究的難點(diǎn)，具有重要的理論和實(shí)踐意義。
　　針對(duì)目前數(shù)據(jù)流壓縮存在的問(wèn)題，本文將聚焦概念漂移下基于同步聚類的數(shù)據(jù)流壓縮算法研究。具體而言，針對(duì)數(shù)據(jù)流的演化性，研究首先提出了一種在概念漂移下基于同步的數(shù)據(jù)流聚類算法。有別于

3、傳統(tǒng)的數(shù)據(jù)流聚類，新提出的算法提出一種基于同步的微簇結(jié)構(gòu)。該結(jié)構(gòu)不僅能有效的保存數(shù)據(jù)本身的簇結(jié)構(gòu)，而且可以支持不同粒度的數(shù)據(jù)聚類。在同步數(shù)據(jù)流聚類的基礎(chǔ)上，進(jìn)一步提出了基于同步聚類的數(shù)據(jù)流壓縮方法。鑒于同步聚類的優(yōu)勢(shì)，壓縮算法可以支持不同尺度的壓縮率，且可以根據(jù)參數(shù)估計(jì)和聚類參數(shù)對(duì)壓縮后的數(shù)據(jù)進(jìn)行重構(gòu)。因此，本文的研究以基于同步的數(shù)據(jù)流聚類以及在此基礎(chǔ)上的壓縮算法構(gòu)成全文的核心內(nèi)容。主要的貢獻(xiàn)如下：
　　（1）提出了在概念漂移下基

4、于同步的數(shù)據(jù)流聚類算法。不同于傳統(tǒng)的基于簇特征的聚類方法，新提出的算法SyncTree能對(duì)數(shù)據(jù)流中的簇結(jié)構(gòu)進(jìn)行更好的封裝，從而支持更高質(zhì)量的聚類。更重要的是，基于同步的微簇能有效處理不同形狀的簇，同時(shí)能有效的對(duì)數(shù)據(jù)流中的聚類演化進(jìn)行跟蹤和描述。此外，為了適應(yīng)不同存儲(chǔ)空間的要求，SyncTree支持不同粒度的聚類。實(shí)驗(yàn)結(jié)果表明，SyncTree相比目前流行的數(shù)據(jù)流聚類算法具有更好的性能，尤其是擁有較好的處理數(shù)據(jù)流演化的能力。
　?。?/p>