云計(jì)算平臺(tái)下神經(jīng)網(wǎng)絡(luò)方法研究.pdf

1、隨著經(jīng)濟(jì)的發(fā)展，網(wǎng)絡(luò)帶寬的不斷增長(zhǎng)，通過(guò)網(wǎng)絡(luò)訪問(wèn)遠(yuǎn)程計(jì)算資源的條件已經(jīng)具備，云計(jì)算就隨之產(chǎn)生了，“云”指的是計(jì)算資源不在本地而在網(wǎng)絡(luò)中，對(duì)用戶是透明的。近年來(lái)，Google、IBM、亞馬遜和微軟等IT巨頭們對(duì)云計(jì)算技術(shù)和產(chǎn)品的普及起到了積極的推動(dòng)作用。
　　云計(jì)算是分布式計(jì)算、并行計(jì)算的發(fā)展，主要用于處理大規(guī)模的數(shù)據(jù)，大規(guī)模數(shù)據(jù)處理和計(jì)算是數(shù)據(jù)挖掘領(lǐng)域中的常見(jiàn)問(wèn)題，許多傳統(tǒng)數(shù)據(jù)挖掘算法如分類中的神經(jīng)網(wǎng)絡(luò)算法往往只能用于小規(guī)模數(shù)據(jù)，

2、當(dāng)處理的數(shù)據(jù)規(guī)模很大時(shí)，計(jì)算量急劇增大，這無(wú)疑是許多傳統(tǒng)數(shù)據(jù)挖掘算法的瓶頸，而云計(jì)算則恰好擅長(zhǎng)處理海量數(shù)據(jù)和進(jìn)行大規(guī)模并行計(jì)算，如果能夠?qū)鹘y(tǒng)數(shù)據(jù)挖掘算法并行化，并將之部署到云計(jì)算平臺(tái)上，就可以有效地解決數(shù)據(jù)挖掘領(lǐng)域中的上述問(wèn)題。
　　BP（BackPropagation）神經(jīng)網(wǎng)絡(luò)是一種按誤差逆向傳播算法訓(xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。它的BP學(xué)習(xí)算法由網(wǎng)絡(luò)信息流的正向傳播和誤差的反向傳播更新神經(jīng)元聯(lián)接權(quán)值

3、兩個(gè)過(guò)程組成。當(dāng)處理大規(guī)模數(shù)據(jù)時(shí)，訓(xùn)練網(wǎng)絡(luò)的時(shí)間很長(zhǎng)，因此本文把BP學(xué)習(xí)算法進(jìn)行MapReduce化分解，并行運(yùn)行減少算法運(yùn)行時(shí)間，其主要分解方法是對(duì)網(wǎng)絡(luò)的每一個(gè)聯(lián)接權(quán)值計(jì)算反向傳播生成的權(quán)值局部梯度改變量，處理所有樣本后用改變量平均值對(duì)權(quán)值做一次批處理更新。接著對(duì)比分析了統(tǒng)計(jì)領(lǐng)域常用的Logistic回歸分析模型，把該模型看做無(wú)隱含層的神經(jīng)網(wǎng)絡(luò)，在提出一種大規(guī)模矩陣轉(zhuǎn)置和乘法運(yùn)算的MapReduce化分解方法后，運(yùn)用到了Logisti

4、c回歸參數(shù)估計(jì)的Newton-Raphson法矩陣求解過(guò)程中，使Logistic回歸也可以并行處理大規(guī)模樣本數(shù)據(jù)。
　　論文具體實(shí)現(xiàn)了上述算法并部署到Hadoop云計(jì)算平臺(tái)上，采用經(jīng)典的數(shù)據(jù)挖掘測(cè)試數(shù)據(jù)集進(jìn)行對(duì)比實(shí)驗(yàn)，比較了算法在單機(jī)和云計(jì)算平臺(tái)下的運(yùn)行差異，結(jié)果表明在保證算法準(zhǔn)確度和精度的情況下，對(duì)大規(guī)模輸入數(shù)據(jù)，經(jīng)過(guò)MapReduce分解的算法能夠有效減少運(yùn)行時(shí)間，在用8臺(tái)機(jī)器組成的實(shí)驗(yàn)Hadoop集群上，加速比能達(dá)到約4~5