基于Spark的模糊c均值聚類算法研究.pdf

1、現(xiàn)在人們可以通過一系列先進(jìn)的方法收集到大規(guī)模的數(shù)據(jù)，過去這些數(shù)據(jù)缺乏有效的技術(shù)手段去挖掘其中的潛在信息價(jià)值。但是今天人們卻能通過對(duì)這些數(shù)據(jù)的分析，學(xué)習(xí)到人類社會(huì)的行為特征，從而取得更多的經(jīng)濟(jì)效益。聚類是數(shù)據(jù)挖掘的重要組成部分，模糊聚類則是數(shù)據(jù)分析的重要方法。本文旨在將模糊c均值聚類算法應(yīng)用到大規(guī)模數(shù)據(jù)分析中，面向可擴(kuò)展化、并行化對(duì)算法進(jìn)行改善，部署到現(xiàn)代的分布式處理架構(gòu)上，充分發(fā)揮集群處理優(yōu)勢(shì)，并結(jié)合新方法有效改善經(jīng)典算法應(yīng)用到分布式場(chǎng)

2、景下的不足。
　　本文將從以下幾個(gè)方面進(jìn)行論文工作的闡述：
　　1）根據(jù)眾多聚類方法的性質(zhì)特點(diǎn)進(jìn)行類型劃分及綜述對(duì)比，選擇更精確的模糊聚類以及特點(diǎn)適合在大數(shù)據(jù)場(chǎng)景下部署應(yīng)用的基于劃分的聚類方法，即模糊c均值聚類算法。
　　2）在深入研究Hadoop和Spark的分布式模型基礎(chǔ)上，對(duì)比兩者在迭代任務(wù)上的處理性能，選擇更適合迭代聚類算法的分布式架構(gòu)Spark。
　　3）基于Spark的編程模型進(jìn)行模糊c均值的并行擴(kuò)展

3、化設(shè)計(jì)，但是初始化時(shí)模糊c均值采取隨機(jī)選擇聚類中心的策略，給算法主體迭代和結(jié)果精度帶來很大的不確定性，這在大數(shù)據(jù)場(chǎng)景下代價(jià)是非常大的。為增強(qiáng)模糊c均值并行擴(kuò)展后的性能，借鑒k-means在初始化階段的改進(jìn)策略，將k-means∥推廣到模糊c均值中以獲得更優(yōu)的聚類性能，結(jié)合Spark的編程模型得到本文可擴(kuò)展的并行模糊c均值算法。
　　4）基于工作3）的算法，模糊c均值適于致密的球狀數(shù)據(jù)結(jié)構(gòu)，對(duì)于非凸結(jié)構(gòu)的數(shù)據(jù)聚類效果較差。但在大數(shù)據(jù)

4、場(chǎng)景下，數(shù)據(jù)形狀結(jié)構(gòu)非常復(fù)雜，支持單一結(jié)構(gòu)的經(jīng)典模糊c均值無法適應(yīng)大數(shù)據(jù)場(chǎng)景下復(fù)雜的數(shù)據(jù)結(jié)構(gòu)。為適應(yīng)大數(shù)據(jù)場(chǎng)景下不同形狀數(shù)據(jù)的聚類需求，引入核函數(shù)使模糊c均值在線性和非線性的數(shù)據(jù)上都能獲得好的聚類效果，并結(jié)合Spark編程模型得到本文可擴(kuò)展的并行核化模糊c均值算法。
　　本文提出的兩種算法在真實(shí)和人工數(shù)據(jù)集上的若干實(shí)驗(yàn)都表現(xiàn)出了很好的擴(kuò)展性和并行性，有效地將模糊c均值聚類擴(kuò)展到分布式應(yīng)用中，極大地增加了算法處理的數(shù)據(jù)規(guī)模，有效地提