基于Hadoop平臺的DBSCAN算法應(yīng)用研究.pdf

1、伴隨信息時代的急劇發(fā)展，我們從互聯(lián)網(wǎng)獲取的數(shù)據(jù)越來越多，從而導(dǎo)致數(shù)據(jù)呈現(xiàn)出爆炸式增長，而且以更快的速度增加。數(shù)據(jù)庫的功能以及相關(guān)技術(shù)也在發(fā)生著升級和變化，尤其是數(shù)據(jù)庫中的數(shù)據(jù)量已經(jīng)呈現(xiàn)出爆炸式的增長，我們要想從這些海量數(shù)據(jù)中獲取我們想要的信息和知識是非常困難的。這就促使我們要對大規(guī)模海量數(shù)據(jù)進(jìn)行研究和分析，這種情況下，我們就需要用到數(shù)據(jù)挖掘技術(shù)。其中，聚類分析在挖掘領(lǐng)域內(nèi)使用比較普遍，因此，將聚類分析的效率提高是有研究價值的。由于傳統(tǒng)算

2、法面向靜態(tài)數(shù)據(jù)庫，造成數(shù)據(jù)挖掘的結(jié)果不及時，先前已經(jīng)被挖掘出的知識和規(guī)則可能已經(jīng)不再適用于新的數(shù)據(jù)，從而使得決策的正確性在很大程度上降低。
　　 國內(nèi)外現(xiàn)在也將云計(jì)算列為重點(diǎn)研究對象，它是眾多技術(shù)如網(wǎng)格、并行和分布計(jì)算的發(fā)展和延伸。在云計(jì)算平臺上，人們可以從網(wǎng)絡(luò)中獲得難以想象的計(jì)算能力、存儲能力以及基礎(chǔ)設(shè)施，通過將海量數(shù)據(jù)處理這樣的大問題，進(jìn)行分解，分布到云中進(jìn)行分節(jié)點(diǎn)處理，無需再像傳統(tǒng)使用昂貴的大型計(jì)算機(jī)來處理問題，這樣做既降

3、低了終端設(shè)備要求，又在很大程度上提高了計(jì)算能力。
　　 本文中首先論述了在數(shù)據(jù)挖掘中經(jīng)常用到并且也是主要的一種挖掘算法，DBSCAN（Density-Based Spatial Clustering of Applications with Noise基于密度的空間聚類算法），在深入研究和探討了其挖掘原理的基礎(chǔ)上，對于其存在的一些不足，提出了一種基于增量的DBSCAN聚類算法。其次，本文結(jié)合云計(jì)算中一個開源的框架Hadoop，研

4、究并利用其MapReduce的編程思想，將海量數(shù)據(jù)進(jìn)行分塊，并且分布到云計(jì)算的計(jì)算機(jī)集群中，實(shí)現(xiàn)每一部分?jǐn)?shù)據(jù)可以在集群中進(jìn)行并發(fā)的運(yùn)行。最后，本文實(shí)現(xiàn)增量式DBSCAN挖掘算法與Hadoop平臺相結(jié)合，將DBSCAN算法MapReduce化，當(dāng)數(shù)據(jù)庫出現(xiàn)新增或刪除數(shù)據(jù)時，無需對整個數(shù)據(jù)庫集進(jìn)行重新挖掘，只需對新增數(shù)據(jù)進(jìn)行局部的挖掘，最后將獲取的局部挖掘知識與原先整體挖掘知識進(jìn)行類簇相似性合并，形成最終的挖掘知識。與傳統(tǒng)的單節(jié)點(diǎn)服務(wù)器串行