基于Mahout的并行化k-means聚類算法優(yōu)化研究.pdf

1、聚類分析是從大量數據中獲取有效信息的重要手段，用于聚類分析的算法稱為聚類算法。k-means聚類算法具備簡單、快速、有效等諸多優(yōu)點，是使用范圍最廣泛的經典聚類算法之一。如今，快速發(fā)展的互聯(lián)網產業(yè)導致了數據量的劇增，傳統(tǒng)k-means算法已無法滿足海量數據的聚類需求，因此，k-means算法MapReduce并行化以及針對并行化 k-means算法的優(yōu)化研究尤為重要。本文將探討并行化 k-means算法的實現(xiàn)方式，并以此為基礎采用適合海量

2、數據處理需求的算法優(yōu)化策略，目標是降低算法時間和空間復雜度的同時獲取更優(yōu)質的聚類結果。
　　本文從k-means算法優(yōu)化與并行化的研究現(xiàn)狀出發(fā)，分析了目前k-means算法優(yōu)化方法主要是針對串行k-means，與此同時k-means并行化研究主要圍繞算法設計展開，由此可知現(xiàn)階段國內外對并行化 k-means算法的優(yōu)化研究尚屬薄弱環(huán)節(jié)，因此本文確立了采用時間復雜度較低的算法對并行化 k-means進行優(yōu)化的研究思路。作為鋪墊，本文介

3、紹了分布式開源框架Hadoop、編程模式MapReduce以及提供協(xié)同過濾、聚類、分類等大規(guī)模機器學習算法分布式實現(xiàn)的算法庫Mahout；然后著重研究了k-means算法原理、算法缺陷以及它在Mahout中的并行化實現(xiàn)方式；最后，采用針對并行化k-means算法優(yōu)化方法，即利用時間復雜度極低的“粗聚類”算法Canopy對并行化k-means進行優(yōu)化。
　　在算法性能測試階段，本文利用Mahout算法庫提供的算法驅動等接口將Cano