構(gòu)造性神經(jīng)網(wǎng)絡(luò)集成方法及其在地震預(yù)報(bào)中的應(yīng)用研究.pdf

1、機(jī)器學(xué)習(xí)是人工智能中最活躍、應(yīng)用潛力最顯著的領(lǐng)域之一，而神經(jīng)網(wǎng)絡(luò)集成作為一種新的機(jī)器學(xué)習(xí)方法，降低了神經(jīng)網(wǎng)絡(luò)的使用難度，并且具有比單個(gè)神經(jīng)網(wǎng)絡(luò)更強(qiáng)的泛化能力，已經(jīng)成為機(jī)器學(xué)習(xí)領(lǐng)域中的一個(gè)相當(dāng)活躍的研究熱點(diǎn)。 現(xiàn)有的各種神經(jīng)網(wǎng)絡(luò)集成構(gòu)造方法中，集成結(jié)構(gòu)的確定及個(gè)體網(wǎng)絡(luò)的訓(xùn)練參數(shù)的調(diào)整都是通過繁瑣和復(fù)雜的實(shí)驗(yàn)來手工實(shí)現(xiàn)的，這在很大程度上依賴于使用者的先驗(yàn)知識(shí)和經(jīng)驗(yàn)。并且神經(jīng)網(wǎng)絡(luò)集成需要訓(xùn)練多個(gè)神經(jīng)網(wǎng)絡(luò)，增大了時(shí)間開銷。這些勢(shì)必影響到

2、神經(jīng)網(wǎng)絡(luò)集成的實(shí)際應(yīng)用。因此，降低構(gòu)造神經(jīng)網(wǎng)絡(luò)集成的復(fù)雜性，提高神經(jīng)網(wǎng)絡(luò)集成的學(xué)習(xí)效率具有重要的意義。針對(duì)這兩個(gè)問題，本文在對(duì)神經(jīng)網(wǎng)絡(luò)集成理論研究的基礎(chǔ)上深入進(jìn)行了以下幾個(gè)方面的研究工作： 首先，為了提高神經(jīng)網(wǎng)絡(luò)集成的學(xué)習(xí)效率，本文提出并實(shí)現(xiàn)了一種并行分布式的RBF(RadialBasisFunction)神經(jīng)網(wǎng)絡(luò)集成PDERNN(Parallel-DistributedEnsembleofRBFNeuralNetworks)。

3、采用MPI(MessagePassingInterface)消息傳遞編程模型，通過任務(wù)劃分、任務(wù)分配、通訊等并行技術(shù)，實(shí)現(xiàn)了主從模式的PDERNN，從而提高了神經(jīng)網(wǎng)絡(luò)集成的學(xué)習(xí)效率。 其次，為了指導(dǎo)有一定神經(jīng)網(wǎng)絡(luò)使用經(jīng)驗(yàn)的用戶設(shè)計(jì)具有較高泛化能力的神經(jīng)網(wǎng)絡(luò)集成，本文提出了基于實(shí)驗(yàn)設(shè)計(jì)的構(gòu)造性神經(jīng)網(wǎng)絡(luò)集成方法DECERNN(DesignofExperimentbasedConstructiveEnsembleofRBFNeural

4、Networks)。分別用正交設(shè)計(jì)和均勻設(shè)計(jì)兩種方法來指導(dǎo)神經(jīng)網(wǎng)絡(luò)集成結(jié)構(gòu)的設(shè)計(jì)和個(gè)體網(wǎng)絡(luò)的訓(xùn)練參數(shù)的調(diào)整，與以往多數(shù)采用的“試湊法”相比，大大降低了復(fù)雜性。同時(shí)，采用該方法可以分析出各因素對(duì)神經(jīng)網(wǎng)絡(luò)集成泛化能力的影響程度，從而確定最佳的集成結(jié)構(gòu)和參數(shù)組合。 再次，為了使沒有神經(jīng)網(wǎng)絡(luò)使用經(jīng)驗(yàn)的用戶也能夠方便地設(shè)計(jì)出具有較高泛化能力的神經(jīng)網(wǎng)絡(luò)集成，本文提出了自適應(yīng)構(gòu)造性神經(jīng)網(wǎng)絡(luò)集成方法SACERNN(Self-AdaptiveCo

5、nstructiveEnsembleofRBFNeuralNetworks)，它通過采用最近鄰聚類算法和構(gòu)造算法，能夠自動(dòng)地確定神經(jīng)網(wǎng)絡(luò)集成結(jié)構(gòu)和個(gè)體網(wǎng)絡(luò)的訓(xùn)練參數(shù)。SACERNN還采用了多種技術(shù)來提高集成的泛化能力。實(shí)驗(yàn)表明，該方法能夠自動(dòng)地為實(shí)際應(yīng)用構(gòu)造出泛化能力較高的神經(jīng)網(wǎng)絡(luò)集成。 最后，將本文的研究成果應(yīng)用于地震預(yù)報(bào)的研究中。本文先提出了異常驅(qū)動(dòng)樣本構(gòu)造法和基于RBF神經(jīng)網(wǎng)絡(luò)的屬性約簡(jiǎn)方法來提高學(xué)習(xí)樣本的質(zhì)量；然后將自適