分布式數(shù)據(jù)流聚類算法研究.pdf

1、隨著計(jì)算機(jī)及網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，數(shù)據(jù)流已成為網(wǎng)絡(luò)監(jiān)測(cè)、金融分析、通信等應(yīng)用領(lǐng)域的主要數(shù)據(jù)模型。在數(shù)據(jù)挖掘中，聚類分析是對(duì)數(shù)據(jù)相似性研究的一項(xiàng)熱點(diǎn)研究?jī)?nèi)容。數(shù)據(jù)流有實(shí)時(shí)、大量等特點(diǎn)，傳統(tǒng)的數(shù)據(jù)聚類分析算法并不能滿足數(shù)據(jù)流處理需求，因此針對(duì)數(shù)據(jù)流的聚類算法研究變得非常重要。
　　針對(duì)數(shù)據(jù)流的實(shí)時(shí)性、有序性、無限性等特點(diǎn)，數(shù)據(jù)流聚類算法需要在保證聚類的準(zhǔn)確、有效的基礎(chǔ)上，有處理海量數(shù)據(jù)流的能力，這其中包括有效聚類高維數(shù)據(jù)流，以及如何處理

2、數(shù)據(jù)流中的離群點(diǎn)問題等問題。針對(duì)數(shù)據(jù)流聚類算法的需求，本文主要研究:
　　首先，本文采用經(jīng)典的雙層聚類處理框架對(duì)數(shù)據(jù)流進(jìn)行聚類:在線層引入衰減時(shí)間窗口獲得數(shù)據(jù)流;離線層通過改進(jìn)的基于加權(quán)質(zhì)心、權(quán)重引力的聚類算法來實(shí)現(xiàn)數(shù)據(jù)流準(zhǔn)確聚類，提出S-CluStream算法。其次，為了提高聚簇質(zhì)量，本文從局部的角度出發(fā)，摒棄了全局離群點(diǎn)誤判可能造成聚類結(jié)果誤差的問題，優(yōu)化了離群點(diǎn)判斷處理策略，提出離群點(diǎn)優(yōu)化的加權(quán)聚類算法AS-CluStrea

3、m以得到更準(zhǔn)確的聚類結(jié)果。
　　另外，對(duì)于大量的數(shù)據(jù)流，算法需要滿足高效處理的需求，因此本文采用分布式方法部署AS-CluStream聚類算法。并且，針對(duì)聚類算法在處理高維數(shù)據(jù)流時(shí)效率并不高的問題，本文采用分布式核主成分分析(Kernel Principle ComponentAnalysis，KPCA)的方法對(duì)數(shù)據(jù)流進(jìn)行降維預(yù)處理。
　　最后，通過高維數(shù)據(jù)集、海量數(shù)據(jù)集等實(shí)驗(yàn)表明，本文所研究的分布式離群優(yōu)化加權(quán)聚類算法AS