基于Hadoop平臺(tái)下回歸算法的性能研究.pdf

1、云計(jì)算是在網(wǎng)格計(jì)算基礎(chǔ)之上發(fā)展起來的一種新型的商業(yè)計(jì)算模型，近年來逐漸成為全球各大IT巨頭熱炒的概念。它能夠提供動(dòng)態(tài)資源池、虛擬化和高可用性的計(jì)算平臺(tái)。云計(jì)算的發(fā)展給數(shù)據(jù)挖掘技術(shù)的發(fā)展帶來了新的挑戰(zhàn)和機(jī)遇。云計(jì)算可以使用大量的廉價(jià)計(jì)算機(jī)通過集群來代替價(jià)格高昂的服務(wù)器，大大降低了計(jì)算成本。HADOOP是一個(gè)用于構(gòu)建云平臺(tái)的Apache開源項(xiàng)目。使用HADOOP框架有利于我們方便、快速的實(shí)現(xiàn)計(jì)算機(jī)集群。在HADOOP平臺(tái)上，采用了HDFS(

2、分布式文件系統(tǒng))來實(shí)現(xiàn)超大文件的存儲(chǔ)和容錯(cuò)，使用了Map Reduce的編程模式來進(jìn)行計(jì)算。將HADOOP運(yùn)用到數(shù)據(jù)挖掘，一個(gè)關(guān)鍵的問題就是如何實(shí)現(xiàn)將傳統(tǒng)的數(shù)據(jù)挖掘算法實(shí)行并行化。對于傳統(tǒng)的數(shù)據(jù)挖掘算法，結(jié)合算法自身的特點(diǎn)，我們需要深入研究才能發(fā)現(xiàn)它是否能夠并行。對于能夠并行實(shí)現(xiàn)的算法，結(jié)合Map Reduce編程模式，我們可以將其移植到HADOOP平臺(tái)上，從而高效的、并行的完成各種數(shù)據(jù)挖掘任務(wù)。強(qiáng)局部加權(quán)回歸算法和Logistic回歸

3、分析越來越多的被用來預(yù)測，強(qiáng)局部加權(quán)回歸算法由于其相對于一般的線性回歸技術(shù)要快，而且提供的是一種萬能的曲線擬合，不管對于多么復(fù)雜的曲線都能進(jìn)行擬合，訓(xùn)練的速度快、學(xué)習(xí)復(fù)雜的目標(biāo)函數(shù)、信息不易丟失都是其優(yōu)點(diǎn)；Logistic回歸分析在統(tǒng)計(jì)上是基于一個(gè)或者多個(gè)變量來預(yù)測一個(gè)明確的結(jié)果的回歸分析，
　　本文首先介紹了云計(jì)算和 HADOOP平臺(tái)的核心架構(gòu)以及運(yùn)行機(jī)制。然后結(jié)合傳統(tǒng)的數(shù)據(jù)挖掘系統(tǒng)提出了基于 HADOOP的數(shù)據(jù)挖掘平臺(tái)的技術(shù)架