Enhancing Radial Basis Function Neural Network for Accurate Forecasting.pdf

1、如今，工程師、科學(xué)家、企業(yè)家們都致力于事先預(yù)測(cè)出未來(lái)的發(fā)展及需求，針對(duì)各個(gè)目標(biāo)制定相應(yīng)的計(jì)劃，并提供解決方案，以期改善某一領(lǐng)域。對(duì)未來(lái)事件的預(yù)測(cè)，在各個(gè)學(xué)科中均通過(guò)大量方法和技術(shù)得以廣泛研究。從整體上來(lái)看，針對(duì)各種問(wèn)題及假設(shè)，沒(méi)有哪種單一的算法能一貫地優(yōu)于其它算法?，F(xiàn)今，越來(lái)越多的人研究預(yù)測(cè)算法，并提出了有關(guān)預(yù)測(cè)的各種算法，例如，模糊時(shí)間序列預(yù)測(cè)算法，落點(diǎn)預(yù)測(cè)算法，基于Kalman的預(yù)測(cè)算法，RBF神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)算法，這些算法都具有各自

2、的優(yōu)點(diǎn)和不足。
　　本文提出將兩種啟發(fā)式優(yōu)化算法即粒子群優(yōu)化算法和蝙蝠算法融入到RBF神經(jīng)網(wǎng)絡(luò)中，通過(guò)全局搜索和優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)置，提高RBF神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)能力。下面將簡(jiǎn)單闡述RBF神經(jīng)網(wǎng)絡(luò)，粒子群優(yōu)化算法以及蝙蝠算法的由來(lái)和相關(guān)理論知識(shí)。
　　徑向基神經(jīng)網(wǎng)絡(luò)簡(jiǎn)稱(chēng)RBF神經(jīng)網(wǎng)絡(luò)是由C.Darken和J.Moody在1989年首次提出的概念。從本質(zhì)上來(lái)說(shuō),RBF神經(jīng)網(wǎng)絡(luò)的最基本的理論基礎(chǔ)是函數(shù)逼近理論;從結(jié)構(gòu)上來(lái)說(shuō),

3、RBF神經(jīng)網(wǎng)絡(luò)是一種具有高效能的RBF神經(jīng)網(wǎng)絡(luò)。RBF神經(jīng)網(wǎng)絡(luò)主要有三層網(wǎng)絡(luò)組建而成,主要包括輸入層、輸出層以及隱含層三層。從RBF網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)分析中,我們發(fā)現(xiàn)對(duì)于RBF神經(jīng)網(wǎng)絡(luò)的運(yùn)行,必須對(duì)該神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練與學(xué)習(xí),其中包括的主要參數(shù)分別是徑向基函數(shù)的寬度、徑向基函數(shù)的中心以及輸出層和隱含層兩層節(jié)點(diǎn)之間的連接權(quán)值。所以，在對(duì)某一事件進(jìn)行預(yù)測(cè)時(shí)，必須基于樣本數(shù)據(jù)構(gòu)建相空間,選擇一定的數(shù)量相點(diǎn)對(duì)RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行必要的學(xué)習(xí)訓(xùn)練。在傳統(tǒng)的

4、RBF神經(jīng)網(wǎng)路學(xué)習(xí)訓(xùn)練過(guò)程中,一般采用的都是最近鄰聚類(lèi)學(xué)習(xí)算法,從本質(zhì)上來(lái)說(shuō),傳統(tǒng)的RBF神經(jīng)網(wǎng)路學(xué)習(xí)算法是屬于在線(xiàn)自適應(yīng)學(xué)習(xí)算法中的一種,因?yàn)樽罱従垲?lèi)算法是不需要認(rèn)為主觀性的來(lái)事先對(duì)隱含層節(jié)點(diǎn)的數(shù)量進(jìn)行確定,只需要完成聚類(lèi)的目標(biāo),進(jìn)而實(shí)現(xiàn)了網(wǎng)絡(luò)最優(yōu)化的選擇。最近鄰聚類(lèi)算法的主要思路分為四個(gè)部分。
　　第一,根據(jù)相關(guān)的理論基礎(chǔ),對(duì)于徑向基函數(shù)的寬度的確定,是根據(jù)事先選擇一個(gè)合適的常數(shù)確定,此時(shí)的常數(shù)是判斷輸入的確定數(shù)據(jù)屬于聚類(lèi)半

5、徑的依據(jù)。
　　第二,在用作神經(jīng)網(wǎng)絡(luò)訓(xùn)練的樣本數(shù)據(jù)中,對(duì)于第一對(duì)數(shù)據(jù)，第一個(gè)隱含層的中心點(diǎn)就是輸入的變量,即中心點(diǎn)與輸入變量相等,隱含層和輸出層兩層的連接權(quán)值就是輸入變量。
　　第三,處理完第一對(duì)數(shù)據(jù)后,第二對(duì)數(shù)據(jù)的輸入,首先計(jì)算輸入變量與第一個(gè)隱含層中心的距離，此時(shí)分為兩種情況:如果此距離比第一步驟中選擇的常數(shù)大,則第二個(gè)隱含層的中心就是輸入變量，隱含層的連接權(quán)值就是輸入變量。若此距離小于等于第一步驟中選擇的常數(shù)，那么第一

6、個(gè)隱含層中心就是輸入變量的最近鄰聚類(lèi)，此時(shí)隱含層的連接權(quán)值就是第一個(gè)輸出向量和第二個(gè)輸出向量的平均值。
　　第四,對(duì)于第i對(duì)數(shù)據(jù)的計(jì)算,依次重復(fù)上一步的運(yùn)算，關(guān)鍵的是確定第i個(gè)輸入變量和第i個(gè)隱含層中心之間的距離，此時(shí)的距離是前m個(gè)所計(jì)算出的距離的最小值，此時(shí)分為兩種情況，如果距離比常數(shù)大，則第i個(gè)輸入變量的第M+1個(gè)隱含層的中心就是第j個(gè)輸入變量，此時(shí)隱含層的連接權(quán)值就是輸入變量。如果距離小于等于常數(shù)，那么第j個(gè)隱含層的中心就是

7、第j個(gè)輸入變量的最近鄰聚類(lèi)，此時(shí)隱含層的連接權(quán)值就是所有輸出向量的平均值。
　　在RBF神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建中,其中最關(guān)鍵的一個(gè)環(huán)節(jié)就是數(shù)據(jù)聚類(lèi)。簡(jiǎn)單的來(lái)說(shuō),數(shù)據(jù)聚類(lèi)就是遵循著“在同類(lèi)簇的數(shù)據(jù)中尋找相似度高的數(shù)據(jù),在異類(lèi)族的數(shù)據(jù)中尋找相似度低的數(shù)據(jù)”的原則,在一個(gè)時(shí)間序列中尋找所有的類(lèi)簇。從本質(zhì)上講,RBF神經(jīng)網(wǎng)絡(luò)靜態(tài)寬度的算法是一種基于共享最近鄰的理念的一種聚類(lèi)算法,它的實(shí)現(xiàn)主要是通過(guò)時(shí)間序列中數(shù)據(jù)點(diǎn)共享最近鄰的數(shù)據(jù)點(diǎn)的個(gè)數(shù),將其

8、個(gè)數(shù)作為整個(gè)時(shí)間序列的相似度,從而達(dá)到處理變密度簇問(wèn)題的目的,進(jìn)而在高位數(shù)據(jù)甚至是在含有噪音的條件下發(fā)現(xiàn)形狀不同、大小不同以及密度不同的空間聚類(lèi)。這類(lèi)算法的特點(diǎn)是同時(shí)結(jié)合了ROCK思想和密度方法,保留K最近鄰簡(jiǎn)化相似矩陣和個(gè)數(shù)。這類(lèi)算法的優(yōu)點(diǎn)是在變密度簇中的聚類(lèi)效果特別明顯,并且具有計(jì)算量小、訓(xùn)練時(shí)間短的特點(diǎn)。因?yàn)樗恍枰虑按_定隱單元層的個(gè)數(shù),在 RBF神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過(guò)程中可以實(shí)現(xiàn)自動(dòng)調(diào)節(jié)的功能,而且,只需要進(jìn)行一次迭代即可,便可以得

9、到基于一定精度的擬合效果,其訓(xùn)練速度是相當(dāng)快的。但是根據(jù)大量的實(shí)驗(yàn)結(jié)果來(lái)看,這種算法也存在著一定的缺陷,整體擬合的效果并沒(méi)有達(dá)到一個(gè)較為理想的狀態(tài)。傳統(tǒng)的RBF神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)算法的一個(gè)主要缺點(diǎn)就是中心個(gè)數(shù)要求預(yù)先固定,僅僅考慮的是RBF神經(jīng)網(wǎng)絡(luò)的輸入信息,而忽略的神經(jīng)網(wǎng)絡(luò)的輸出
　　信息,但是RBF神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)的目的是希望在一定指標(biāo)的基礎(chǔ)上減小期望輸出和實(shí)際輸出之間的誤差,因此,應(yīng)該從考慮樣本輸出的角度進(jìn)行原來(lái)算法的改進(jìn)。因

10、為這種算法容易陷入局部最優(yōu)解的局面,同時(shí)擬合效果的好壞是對(duì)選擇的初始聚類(lèi)中心依賴(lài)性較強(qiáng),對(duì)于異常數(shù)據(jù)顯示的較為敏感,可能造成聚類(lèi)結(jié)構(gòu)不平衡的效果。同時(shí),一方面,因?yàn)樵谘芯恐兴娪玫臄?shù)據(jù)是時(shí)間序列,所以對(duì)預(yù)測(cè)效果具有很大影響的一個(gè)因素就是輸入樣本的次序。另一方面,RBF神經(jīng)網(wǎng)絡(luò)寬度的選擇是預(yù)測(cè)效果影響的直接因素,如果寬度選取的過(guò)小時(shí),整體上是對(duì)后面的數(shù)據(jù)擬合效果呈現(xiàn)較好的結(jié)果;如果寬度選取的過(guò)大時(shí),整體上是對(duì)前面的數(shù)據(jù)擬合效果呈現(xiàn)較好的結(jié)

11、果。
　　粒子群優(yōu)化(Particle Swarm Optimization,簡(jiǎn)稱(chēng)PSO)是由Kennedy和Eberhart等人于1995年提出的一類(lèi)模擬群體智能行為的優(yōu)化算法。PSO算法的仿生基點(diǎn)是模仿鳥(niǎo)這類(lèi)群體動(dòng)物通過(guò)群聚而有效地覓食和逃避追捕行為。在這類(lèi)群集的動(dòng)物中,每個(gè)個(gè)體的行為除了自身本能行為外,還建立在群體行為的基礎(chǔ)之上的。因?yàn)槠浞N群存在“群集智能”,即在整個(gè)群體中信息是共享的,而且在個(gè)體之間存在著信息的交換與協(xié)作。

12、PSO以模擬鳥(niǎo)的群集智能為特征,以求解連續(xù)變量?jī)?yōu)化問(wèn)題為背景。由于其收斂速度快、編程易實(shí)現(xiàn)并且參數(shù)調(diào)整方便,因而一經(jīng)提出就成為智能優(yōu)化與進(jìn)化計(jì)算領(lǐng)域的一個(gè)新的研究熱點(diǎn)。目前已經(jīng)廣泛應(yīng)用于目標(biāo)函數(shù)優(yōu)化、動(dòng)態(tài)環(huán)境優(yōu)化、神經(jīng)網(wǎng)絡(luò)訓(xùn)練、模糊控制系統(tǒng)等許多領(lǐng)域,并且在工程應(yīng)用方面有了較大進(jìn)展。粒子群優(yōu)化算法的建立,借鑒了Reynolds在1986年提出的人工生命系統(tǒng)biod模型和生物學(xué)家Heppner提出的鳥(niǎo)類(lèi)模型,其基本思想是通過(guò)群體中個(gè)體之間

13、的寫(xiě)作和信息共享來(lái)尋找最優(yōu)解。與其他群體智能算法不同在于,PSO將每個(gè)個(gè)體視為n維搜索空間中的一個(gè)沒(méi)有重量和體積的“鳥(niǎo)”也即“粒子”。它們有自己的初始位置,有一個(gè)由優(yōu)化函數(shù)確定的函數(shù)值,具有自主記憶能力并追尋當(dāng)前最優(yōu)的粒子位置,以一定的速度在搜索空間中飛行,該速度以個(gè)體和群體的飛行經(jīng)驗(yàn)進(jìn)行動(dòng)態(tài)調(diào)整。PSO算法中,每個(gè)優(yōu)化問(wèn)題的解都是搜索空間中的一個(gè)粒子,所有的粒子都有一個(gè)由被優(yōu)化的函數(shù)決定的適應(yīng)度值,每個(gè)粒子還有一個(gè)速度決定它們飛翔的方

14、向和距離。然后粒子們就追隨當(dāng)前的最優(yōu)粒子在解空間中搜索。該算法初始化為一群隨機(jī)粒子(隨機(jī)解),然后通過(guò)迭代找到最優(yōu)解,在每一次迭代中,粒子通過(guò)兩個(gè)“極值”來(lái)更新自己。一個(gè)是粒子本身所找到的最優(yōu)解,這個(gè)解叫做個(gè)體極值;另一個(gè)極值是整個(gè)種群目前找到的最優(yōu)解,這
　　這個(gè)極值是全局極值gBest。在找到兩個(gè)最優(yōu)值后,粒子根據(jù)相應(yīng)的公式來(lái)更新自己的速度和位置。
　　粒子群算法的主要特點(diǎn)主要體現(xiàn)在以下幾個(gè)方面：
　?。?）信息共

15、享制度
　　粒子群算法是在全局范圍內(nèi)來(lái)共享搜索的信息,在個(gè)體看來(lái),粒子根據(jù)自身的歷史飛行經(jīng)驗(yàn)來(lái)不斷調(diào)整自己的新搜索方向。從種群來(lái)看,整個(gè)種群中所有粒子都朝著全局最優(yōu)值移動(dòng),所有粒子共享種群的搜索經(jīng)驗(yàn)。
　　（2）全局收斂性能
　　在粒子群算法中,由隨機(jī)因子的不確定性和慣性權(quán)重?cái)U(kuò)大搜索的空間并以此來(lái)避免種群陷入局部最優(yōu)。
　　（3）算法特點(diǎn)及應(yīng)用
　　粒子群算法只需移動(dòng)粒子，而且根據(jù)其位置與速度的更新公式從本

16、質(zhì)上看，更適合于實(shí)數(shù)的優(yōu)化。
　　蝙蝠算法是英國(guó)學(xué)者 Yang教授受蝙蝠回聲定位能力的啟發(fā),假設(shè)在理想狀態(tài)下,利用蝙蝠在覓食時(shí)所發(fā)出的脈沖的頻率、響度、脈沖發(fā)射率的變化而模擬設(shè)計(jì)出來(lái)一種群智能算法?；掘惴ㄍㄟ^(guò)頻率的調(diào)整來(lái)定位目標(biāo)。一般頻率在某一范圍內(nèi)變化。蝙蝠按脈沖發(fā)射率和響度發(fā)出聲波脈沖,蝙幅在定位的過(guò)程中,當(dāng)發(fā)現(xiàn)目標(biāo)時(shí)會(huì)增加脈沖的發(fā)射率，減小響度,從而逼近目標(biāo),以致捕食到獵物。蝙蝠算法是一種受蝙蝠的回聲定位行為啟發(fā)的隨機(jī)

17、搜索算法,在蝙蝠的速度和位置的更新過(guò)程中,頻率本質(zhì)上控制著這些蝙蝠群的移動(dòng)步伐和范圍。蝙蝠在尋優(yōu)過(guò)程中,通過(guò)調(diào)節(jié)脈沖發(fā)射率和響度促使蝙幅朝著最優(yōu)解方向移動(dòng)。蝙蝠在剛開(kāi)始搜索時(shí)具有較小的脈沖發(fā)射率,蝙幅有較大的概率在當(dāng)前最優(yōu)周?chē)M(jìn)行局部搜索,同時(shí)較大的響度使得局部搜索的范圍比較大,有較大的概率探索到更好的解,隨著迭代的增加,脈沖發(fā)射率增加,響度減小,局部搜索概率減小,局部挖掘的范圍也很小,蝙幅不斷掃描定位目標(biāo),最終搜索到最優(yōu)解。從整個(gè)算法

18、框架來(lái)講,蝙蝠算法實(shí)質(zhì)上是通過(guò)頻率來(lái)控制蝙幅個(gè)體位置的更新,相當(dāng)于一個(gè)步長(zhǎng)因子,這里的頻率是隨機(jī)變化的,這個(gè)過(guò)程可以稱(chēng)為“位置更新”。第二個(gè)過(guò)程是主要是通過(guò)脈沖發(fā)射率和響度來(lái)進(jìn)行局部搜索,這個(gè)過(guò)程可以稱(chēng)為“局部搜索”。算法最后,局部搜索有效后需要進(jìn)一步加強(qiáng),減小搜索范圍,同時(shí)為了保證一定的種群多樣性,需要減小局部搜索的概率。這個(gè)過(guò)程可以稱(chēng)為“步伐控制”。蝙蝠算法在位置更
　　新過(guò)程中,頻率的更新屬于隨機(jī)選擇,隨機(jī)性較強(qiáng);同時(shí)種群之

19、間進(jìn)行了種群最優(yōu)個(gè)體和蝙蝠個(gè)體之間的交流,具有一定的搜索指導(dǎo)性。在局部搜索過(guò)程中,蝙幅個(gè)體在種群最優(yōu)個(gè)體周?chē)M(jìn)行探索,使得算法具有較快的收斂速度。步伐控制過(guò)程中,脈沖發(fā)射率的增加和響度的減小是在局部搜索有效后進(jìn)行的,減小的響度表示蝙幅個(gè)體在靠近獵物。
　　最后，本文將這一算法應(yīng)用于現(xiàn)實(shí)數(shù)據(jù)來(lái)進(jìn)行測(cè)試及預(yù)測(cè)，實(shí)驗(yàn)結(jié)果表明粒子群算法及蝙蝠算法能有效提高RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，且有較好的準(zhǔn)確及誤差收劍速度、較低的均方誤差。同時(shí)，通過(guò)與