基于粒計算的神經(jīng)網(wǎng)絡(luò)及集成方法研究.pdf

1、基于數(shù)據(jù)的機器學(xué)習(xí)是數(shù)據(jù)挖掘技術(shù)中的重要內(nèi)容，它主要研究從觀測數(shù)據(jù)出發(fā)尋找規(guī)律，并利用這些規(guī)律對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進行預(yù)測。粒計算理論是解決復(fù)雜問題的有效方法，它通過對復(fù)雜數(shù)據(jù)進行?；?，可將它轉(zhuǎn)化為若干較為簡單的問題，從而有助于我們對復(fù)雜問題的分析與求解。其思想實質(zhì)是用簡單易求、低成本的足夠滿意近似解替代精確解，已成為人工智能、軟計算和控制科學(xué)等領(lǐng)域的研究熱點之一。具體地講，凡是在分析問題和求解問題中，應(yīng)用了分組、分類和聚類手段

2、的一切理論與方法均屬于粒計算的范疇。
　　人工神經(jīng)網(wǎng)絡(luò)是數(shù)據(jù)挖掘的另一種經(jīng)典方法，是模擬生物神經(jīng)網(wǎng)絡(luò)的計算機智能系統(tǒng)，也是軟計算技術(shù)之一。由于人工神經(jīng)網(wǎng)絡(luò)具有信息的分布存儲、并行處理以及自學(xué)習(xí)能力等優(yōu)點，所以它在信息處理、模式識別、智能控制等領(lǐng)域有著難以估量的應(yīng)用價值。而神經(jīng)網(wǎng)絡(luò)集成通過訓(xùn)練多個神經(jīng)網(wǎng)絡(luò)并將其結(jié)論進行結(jié)合，從而達到大幅提升網(wǎng)絡(luò)泛化能力的效果。粒計算在某種程度上對神經(jīng)網(wǎng)絡(luò)都具有一定的補充，融合這兩種理論，研究粒計算下

3、的神經(jīng)網(wǎng)絡(luò)及集成能夠較好地解決復(fù)雜數(shù)據(jù)問題，具有重要的現(xiàn)實意義。
　　本文主要研究了基于粒計算的神經(jīng)網(wǎng)絡(luò)模型及其算法和基于粒計算的神經(jīng)網(wǎng)絡(luò)集成（Neural Network Ensemble，NNE）模型及其算法。本文的主要研究內(nèi)容包括以下幾個方面：
　　1．研究基于領(lǐng)域覆蓋和AP算法的神經(jīng)網(wǎng)絡(luò)分類學(xué)習(xí)模型及其算法。AP（Affinity Propagation，AP）聚類算法無需事先定義類數(shù)，在迭代過程中不斷搜索合適的聚類

4、中心，自動從數(shù)據(jù)點間識別類中心的位置及個數(shù)。AP算法是一種確定性的聚類算法，多次獨立運行的聚類結(jié)果一般都十分穩(wěn)定。覆蓋算法具有可理解性強、計算速度快、識別率高等優(yōu)點，但它用隨機的方法從數(shù)據(jù)集中選取一部分數(shù)據(jù)作為訓(xùn)練樣本集，學(xué)習(xí)的順序在覆蓋算法中直接影響覆蓋領(lǐng)域的大小和個數(shù)，對學(xué)習(xí)的效果影響很大。用AP聚類方法作為覆蓋算法的前端處理器對復(fù)雜數(shù)據(jù)樣本進行聚類，無需預(yù)先定義覆蓋的數(shù)量，自動地確定領(lǐng)域覆蓋的中心和半徑，完成由輸入到輸出的映射。引

5、入AP聚類算法解決了覆蓋算法初始領(lǐng)域中心隨機選取的問題。
　　2.研究基于商空間粒度聚類的個體神經(jīng)網(wǎng)絡(luò)生成和集成方法。AP聚類算法對于偏向參數(shù)P值的選取比較關(guān)鍵，這個值的大小，直接影響著最后的聚類數(shù)量。引入商空間理論，運用粒度的分解與合成原理，調(diào)整聚類后的粒度，力求尋求適合領(lǐng)域問題的最優(yōu)粒度。在此基礎(chǔ)上，用不同類別的樣本訓(xùn)練不同的個體神經(jīng)網(wǎng)絡(luò)，產(chǎn)生差異度較大的個體神經(jīng)網(wǎng)絡(luò)。個體神經(jīng)網(wǎng)絡(luò)的數(shù)目等于樣本類別數(shù)目，確定NNE的結(jié)構(gòu)。根據(jù)

6、輸入數(shù)據(jù)與樣本類別之間的相關(guān)程度自適應(yīng)調(diào)整集成權(quán)值，提高NNE的集成精度。
　　3．研究基于二次聚類的個體神經(jīng)網(wǎng)絡(luò)生成方法。NNE中個體網(wǎng)絡(luò)之間的差異度對NNE的泛化性能至關(guān)重要，為了提高個體神經(jīng)網(wǎng)絡(luò)的精度及差異度進而提高NNE的性能，通過變換網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)，使得樣本能夠反應(yīng)真實的數(shù)據(jù)分布，增加訓(xùn)練數(shù)據(jù)間的差異以此增大網(wǎng)絡(luò)間的差異度，進而提高NNE的性能。首先用交叉驗證方法劃分原始數(shù)據(jù)集，接著對所有樣本進行聚類，得到第一次聚類樣本

7、子集，然后對每一類樣本子集進行二次聚類得到每一子類的樣本子集，通過AP聚類使得“類內(nèi)相似，類間相異”的準則最大化，類內(nèi)樣本能夠反應(yīng)真實的數(shù)據(jù)分布，最后按照排列組合的方式從二次聚類的每個樣本子集中選取一類樣本構(gòu)成訓(xùn)練集。交叉驗證方法從多個角度學(xué)習(xí)樣本，訓(xùn)練樣本和驗證樣本都盡可能參與學(xué)習(xí)，避免陷入局部最小值，能夠取得較好的效果。這樣在網(wǎng)絡(luò)的訓(xùn)練過程中，對每一個子網(wǎng)的訓(xùn)練集都采用不同的方式進行選?。；褂?xùn)練樣本能夠反映原始樣本真實的數(shù)據(jù)

8、分布，增加訓(xùn)練數(shù)據(jù)間的差異以此增大網(wǎng)絡(luò)間的差異度，用這種方法產(chǎn)生的個體神經(jīng)網(wǎng)絡(luò)進行集成具有較高的性能。
　　4．研究多側(cè)面多粒度神經(jīng)網(wǎng)絡(luò)集成優(yōu)化方法。根據(jù)人類認知復(fù)雜事物時分側(cè)面、多角度考慮最后權(quán)衡作出判斷的分而治之的思想，結(jié)合特征選擇算法，從多個側(cè)面劃分數(shù)據(jù)集的屬性粒，在不同屬性粒和對應(yīng)的樣本子集上構(gòu)造多個多粒度個體神經(jīng)網(wǎng)絡(luò)參與集成，從多側(cè)面、多角度變換訓(xùn)練數(shù)據(jù)集劃分屬性粒及其對應(yīng)的樣本子集，構(gòu)建差異度較大的個體神經(jīng)網(wǎng)絡(luò)，通過計