委員會機器的研究.pdf

1、神經(jīng)網(wǎng)絡的研究自從上世紀80年代起引起了人們的高度重視，其應用范圍廣泛，涉及模式識別、函數(shù)逼近、智能控制、數(shù)據(jù)挖掘和知識發(fā)現(xiàn)等諸多領域，取得了可喜的成績。但在應用中，尤其在神經(jīng)網(wǎng)絡學習方面還面臨著一系列的問題，比如如何確定網(wǎng)絡結構、過學習與欠學習、知識增量學習等。這些問題嚴重影響著神經(jīng)網(wǎng)絡的整體性能。如何解決神經(jīng)網(wǎng)絡面臨的問題，建立有效的神經(jīng)網(wǎng)絡學習機制是神經(jīng)網(wǎng)絡應用迫切需要解決的課題。 基于微分幾何、信息論、統(tǒng)計學的信息幾何理

2、論，以及將自然界中的進化過程引入工程研究領域以解決工程中優(yōu)化問題的進化計算理論是研究非結構化、非線性空間更合理的方法和手段。以應用這些理論為代表的整體結構的研究是人工神經(jīng)網(wǎng)絡發(fā)展的重要方向和突破點之一。 本文主要以信息幾何理論和進化計算理論為基礎，對神經(jīng)網(wǎng)絡學習中的幾個關鍵問題如模型選擇、學習準則及增量學習問題做了研究，提出了基于廣義KL距離和幾何曲率的模型選擇準則；給出了一個一般意義上的后驗委員會機器體系結構及對應的學習準則；

3、提出了具有增量學習能力和對個體進行優(yōu)化選擇的混合委員會機器構造算法；最后利用進化計算、Boosting算法和負相關學習來構造委員會機器的優(yōu)化算法。 主要創(chuàng)新工作有： 1、提出了一種基于流形上的廣義KL距離和幾何曲率的模型選擇準則KLCIC，并給出了理論分析與實驗驗證。該準則利用模型流形的內在幾何特性及模型流形與數(shù)據(jù)流形的幾何位置關系來評價模型的擬合度，而用模型的幾何曲率來衡量模型的固有復雜度，它們具有參數(shù)表示不變性的特點

4、，賦予了復雜度與擬合度清晰的幾何意義，為基于數(shù)據(jù)的模型選擇提供了理論上的支持，實驗結果也證實了準則的可行性與有效性。 2、分析委員會機器學習準則的選擇與逼近、自適應性和競爭性的緊密關系，通過最小化后驗分布間的KL距離，給出了一個一般意義上的后驗委員會機器體系結構及對應的學習準則。實驗結果證明了方法的可行性與有效性。 3、在深入分析Learn++的基礎上，盡可能地在不使用原有數(shù)據(jù)樣本的情況下，通過嵌入自生長的動態(tài)委員會機器