面向大數(shù)據(jù)的聚類(lèi)方法及其應(yīng)用研究.pdf

1、近些年來(lái)，隨著計(jì)算機(jī)科學(xué)與技術(shù)的快速發(fā)展，在很多行業(yè)中產(chǎn)生了越來(lái)越多的海量數(shù)據(jù)信息。聚類(lèi)作為數(shù)據(jù)挖掘的一個(gè)非常受關(guān)注的分支學(xué)科，在這種情況下得到了長(zhǎng)足的發(fā)展，一系列經(jīng)典的聚類(lèi)算法被研究者提出，但目前能應(yīng)用于大數(shù)據(jù)聚類(lèi)的算法不多，Apache Mahout推出的聚類(lèi)算法只有5種，其中有4種基于Kmeans算法開(kāi)發(fā)的，Spark官方推出的聚類(lèi)算法目前只有Kmeans。一些效果較好的聚類(lèi)算法，它們的時(shí)間復(fù)雜度比較高，開(kāi)發(fā)出適應(yīng)大數(shù)據(jù)聚類(lèi)的難度

2、較大。傳統(tǒng)的Kmeans可以用于大數(shù)據(jù)聚類(lèi)，但其迭代過(guò)程涉及到多次的HDFS文件系統(tǒng)的讀寫(xiě)操作也非常費(fèi)時(shí)。
　　本文通過(guò)引入聚類(lèi)特征樹(shù)，獲得微簇中心點(diǎn)集，利用Maximin算法選取初始聚類(lèi)中心點(diǎn)集，提出了基于層次和劃分的BM2Kmeans算法，同時(shí)利用微簇中心進(jìn)行微簇融合，提出了基于層次和密度的BMCMCluster算法。前一種算法能夠?qū)崿F(xiàn)快速搜索到較好且穩(wěn)定的初始聚類(lèi)中心點(diǎn)集，從而實(shí)現(xiàn)高效的大數(shù)據(jù)聚類(lèi)，但需要指定聚類(lèi)類(lèi)別數(shù);后一

3、種算法也能夠?qū)崿F(xiàn)快速、高效的大數(shù)據(jù)聚類(lèi)，且聚類(lèi)類(lèi)別數(shù)不需指定，算法會(huì)通過(guò)微簇融合的方式形成大的聚簇，能夠發(fā)現(xiàn)任意形狀聚簇。
　　本文研究以油氣勘探領(lǐng)域的數(shù)據(jù)為實(shí)驗(yàn)數(shù)據(jù)，對(duì)基于Hadoop平臺(tái)實(shí)現(xiàn)的兩種針對(duì)本文提出的聚類(lèi)算法通過(guò)實(shí)驗(yàn)驗(yàn)證，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析，通過(guò)可視化的方式將這兩種聚類(lèi)算法的聚類(lèi)結(jié)果表達(dá)出來(lái)。通過(guò)實(shí)驗(yàn)，可以看出基于層次和劃分的集成聚類(lèi)算法BM2Kmeans的聚類(lèi)效果要優(yōu)于傳統(tǒng)的Kmeans大數(shù)據(jù)聚類(lèi)算法，并對(duì)基于層