基于HADOOP的數(shù)據(jù)挖掘研究.pdf

1、隨著計(jì)算機(jī)技術(shù)以及互聯(lián)網(wǎng)運(yùn)用高速的擴(kuò)展到人類社會生產(chǎn)生活的各個(gè)方面，數(shù)據(jù)量呈現(xiàn)出爆發(fā)性的增長。如今，大數(shù)據(jù)集以及超大數(shù)據(jù)集的存儲和處理已成為很多企業(yè)面臨的新的挑戰(zhàn)。而如何能以更加快速、高效、低成本的方式從海量數(shù)據(jù)中挖掘有價(jià)值的、可理解的知識從而幫助企業(yè)制定決策成為數(shù)據(jù)挖掘技術(shù)面臨的新課題。
　　云計(jì)算技術(shù)的出現(xiàn)為數(shù)據(jù)挖掘技術(shù)的發(fā)展帶來了新的機(jī)遇。云計(jì)算技術(shù)通過使存儲和計(jì)算能力均勻的分布到集群中的多個(gè)存儲和計(jì)算節(jié)點(diǎn)上，從而實(shí)現(xiàn)了對超

2、大數(shù)據(jù)集的巨大的存儲和計(jì)算能力。由于可以使用大量的廉價(jià)計(jì)算機(jī)通過集群來代替價(jià)格高昂的服務(wù)器，云計(jì)算大大的降低了成本。使用云計(jì)算技術(shù)提供的巨大的存儲能力和計(jì)算能力，數(shù)據(jù)挖掘技術(shù)進(jìn)入了基于云計(jì)算的數(shù)據(jù)挖掘時(shí)代。
　　HADOOP是一個(gè)用于構(gòu)建云平臺的Apache開源項(xiàng)目。使用HADOOP框架有利于我們方便、快速的實(shí)現(xiàn)計(jì)算機(jī)集群。在HADOOP平臺上，采用了HDFS(分布式文件系統(tǒng))來實(shí)現(xiàn)超大文件的存儲和容錯(cuò)，而使用了MapReduce

3、的編程模式來進(jìn)行計(jì)算。將HADOOP運(yùn)用到數(shù)據(jù)挖掘，一個(gè)關(guān)鍵的問題就是如何實(shí)現(xiàn)將傳統(tǒng)的數(shù)據(jù)挖掘算法實(shí)行并行化。對于傳統(tǒng)的數(shù)據(jù)挖掘算法，結(jié)合算法自身的特點(diǎn)，我們可以很容易或者需要深入研究才能發(fā)現(xiàn)它是否能夠并行。對于能夠并行實(shí)現(xiàn)的算法，結(jié)合MapReduce編程模式，我們可以將其移植到HADOOP平臺上，高效的、并行的完成數(shù)據(jù)挖掘任務(wù)。
　　本文首先詳細(xì)的介紹了云計(jì)算和HADOOP平臺的核心架構(gòu)以及運(yùn)行機(jī)制。然后結(jié)合傳統(tǒng)的數(shù)據(jù)挖掘系統(tǒng)