基于Hadoop平臺的DBSCAN算法應用研究.pdf

1、伴隨信息時代的急劇發(fā)展，我們從互聯(lián)網(wǎng)獲取的數(shù)據(jù)越來越多，從而導致數(shù)據(jù)呈現(xiàn)出爆炸式增長，而且以更快的速度增加。數(shù)據(jù)庫的功能以及相關技術也在發(fā)生著升級和變化，尤其是數(shù)據(jù)庫中的數(shù)據(jù)量已經(jīng)呈現(xiàn)出爆炸式的增長，我們要想從這些海量數(shù)據(jù)中獲取我們想要的信息和知識是非常困難的。這就促使我們要對大規(guī)模海量數(shù)據(jù)進行研究和分析，這種情況下，我們就需要用到數(shù)據(jù)挖掘技術。其中，聚類分析在挖掘領域內(nèi)使用比較普遍，因此，將聚類分析的效率提高是有研究價值的。由于傳統(tǒng)算

2、法面向靜態(tài)數(shù)據(jù)庫，造成數(shù)據(jù)挖掘的結果不及時，先前已經(jīng)被挖掘出的知識和規(guī)則可能已經(jīng)不再適用于新的數(shù)據(jù)，從而使得決策的正確性在很大程度上降低。
　　 國內(nèi)外現(xiàn)在也將云計算列為重點研究對象，它是眾多技術如網(wǎng)格、并行和分布計算的發(fā)展和延伸。在云計算平臺上，人們可以從網(wǎng)絡中獲得難以想象的計算能力、存儲能力以及基礎設施，通過將海量數(shù)據(jù)處理這樣的大問題，進行分解，分布到云中進行分節(jié)點處理，無需再像傳統(tǒng)使用昂貴的大型計算機來處理問題，這樣做既降

3、低了終端設備要求，又在很大程度上提高了計算能力。
　　 本文中首先論述了在數(shù)據(jù)挖掘中經(jīng)常用到并且也是主要的一種挖掘算法，DBSCAN（Density-Based Spatial Clustering of Applications with Noise基于密度的空間聚類算法），在深入研究和探討了其挖掘原理的基礎上，對于其存在的一些不足，提出了一種基于增量的DBSCAN聚類算法。其次，本文結合云計算中一個開源的框架Hadoop，研

4、究并利用其MapReduce的編程思想，將海量數(shù)據(jù)進行分塊，并且分布到云計算的計算機集群中，實現(xiàn)每一部分數(shù)據(jù)可以在集群中進行并發(fā)的運行。最后，本文實現(xiàn)增量式DBSCAN挖掘算法與Hadoop平臺相結合，將DBSCAN算法MapReduce化，當數(shù)據(jù)庫出現(xiàn)新增或刪除數(shù)據(jù)時，無需對整個數(shù)據(jù)庫集進行重新挖掘，只需對新增數(shù)據(jù)進行局部的挖掘，最后將獲取的局部挖掘知識與原先整體挖掘知識進行類簇相似性合并，形成最終的挖掘知識。與傳統(tǒng)的單節(jié)點服務器串行