進化多目標稀疏重構(gòu)和集成學(xué)習(xí).pdf

1、人工智能在將近六十多年的發(fā)展中已經(jīng)取得了很大的進步。本博士論文主要探討和研究人工智能的兩個及其重要的研究領(lǐng)域：智能計算和分類問題。本博士論文研究了進化計算和分類器集成的幾個關(guān)鍵性問題：1)針對約束優(yōu)化問題中由于約束條件而造成的對全局最優(yōu)解搜索困難的問題，提出了結(jié)合進化多目標的優(yōu)點來解決約束優(yōu)化問題；2)從理論角度分析和研究了可以用在大規(guī)模優(yōu)化問題的分解算法；3)從多目標優(yōu)化的角度分析和求解近幾年在各個領(lǐng)域應(yīng)用都非常廣泛的稀疏重構(gòu)問題;4

2、)給出如何將壓縮感知的優(yōu)點應(yīng)用到集成學(xué)習(xí)上并給出一種非?？焖儆行У姆诸惼骷伤惴ā？偨Y(jié)起來，本博士論文的主要貢獻如下：
　　?提出了一種用于約束優(yōu)化的新穎選擇進化策略
　　約束優(yōu)化問題在理論和實踐中都是一類很常見的問題。約束優(yōu)化問題的解空間被約束條件分為可行解空間和不可行解空間。不可行解空間的存在使得解約束優(yōu)化問題的算法很難在既保證效率、最優(yōu)性又滿足約束條件下快速收斂。這里，提出用多目標的技術(shù)來權(quán)衡在可行解和非可行解之間的搜

3、索，并且提出一種自適應(yīng)的選擇策略來同時搜索對算法收斂有促進作用的可行解和不可行解。因為約束優(yōu)化問題的最優(yōu)解是一個可行的不可支配解，所以違反約束條件較小的不可支配解和目標函數(shù)值較小的可行解是對進化過程有益的兩類解。提出的算法就是著重保存和搜索這兩類解，并且也給出相關(guān)的理論證明。最后，也將提出的算法在22個標準函數(shù)測試庫進行了算法性能的對比測試。實驗結(jié)果也證實我們提出算法可以得到高效可行的結(jié)果。
　　?提出了一種基于二次混合偏導(dǎo)數(shù)的分

4、解算法
　　在工程實踐和科學(xué)研究中，研究者們通常會遇到大規(guī)模的優(yōu)化問題。而這類問題的最大難點就是所謂的“維度災(zāi)難”。一種直觀但高效可行的辦法是“分而治之”的方法。協(xié)同進化計算方法使得進化計算解決問題的規(guī)模可以大幅度提高。這是由于協(xié)同進化計算首先將一個大規(guī)模的優(yōu)化問題分為若干個小問題，然后再對每個小問題進行逐個求解，最后求得整個優(yōu)化問題的最優(yōu)解。這也使得分解方法成為決定協(xié)同進化計算性能的關(guān)鍵性因素。本章節(jié)中，主要從理論上研究大規(guī)模問

5、題的變量之間的相關(guān)性，給出了相關(guān)的理論和推論。提出了一種基于二次混合偏導(dǎo)數(shù)的分解算法，并且在對差分分解算法進行深入研究的基礎(chǔ)上，基于本章節(jié)的理論研究提出了一種隨機差分分解算法，該分解算法可以解決差分算法無法解決的問題。最后的實驗結(jié)果也證實了該算法的有效性。
　　?提出了一種進化多目標用于稀疏重構(gòu)問題的算法
　　通過進化多目標的方法來研究在壓縮感知中兩個相互矛盾的代價函數(shù)（測量誤差和稀疏正則項)。我們深入分析研究了稀疏重構(gòu)問題

6、，并通過實驗數(shù)據(jù)證明此類問題的帕里托面上存在拐點區(qū)域，而且也進一步證實稀疏重構(gòu)問題的最優(yōu)解存在于拐點區(qū)域。此外，還提出一個基于問題的進化多目標局部搜索方法來處理壓縮感知問題，進而提出了基于軟閾值的多目標進化計算。該算法通過軟閾值的方法來加強搜索這兩個方向上的解：一類是加快朝帕里托面收斂速度的解；另一類是增加帕里托面解分布均勻性的解。通過對這兩類解的著重搜索也促進了對拐點區(qū)域的確定，進而確保了對最優(yōu)解的搜索。最后，通過和其他先進算法的對比

7、實驗證實了該算法的優(yōu)點。也給出了該算法在實踐應(yīng)用中的實驗結(jié)果，例如：從含有噪聲污染的信號和圖像中恢復(fù)出原始信號和圖像。
　　?提出了一種基于壓縮感知的快速高效集成算法
　　高效集成學(xué)習(xí)需要達到兩個目標：盡量少的分類器個體數(shù)量和盡量高的分類精度。本博士論文中，介紹了這兩個目標如何通過壓縮感知的框架完美的實現(xiàn)。這里我們很巧妙地將分類器問題轉(zhuǎn)化成為壓縮感知問題，將集成學(xué)習(xí)的兩個目標轉(zhuǎn)化成為壓縮感知中需要解決的兩個問題，同時兼顧了分

8、類器個體的稀疏性和集成總體的分類精度，進而提出了基于壓縮感知框架的快速高效集成算法。本章中的另外一個貢獻是提出一種新的集成學(xué)習(xí)性能評價指標-基于輪盤賭的kappa錯誤評價指標。該指標不僅僅考慮到各個分類器的權(quán)重，也有效地降低了最終在圖像中顯示出的分類器對數(shù)（但不影響讀者對最終結(jié)果的判斷)。此類方法可以更清楚直觀地展示kappa圖，尤其是在最后集成分類器較多的情況下更有效。實驗部分我們在25個公開的測試數(shù)據(jù)上對比了四種不同稀疏重構(gòu)算法用于

9、集成學(xué)習(xí)的性能。最后的也給出提出算法和其他五個最好集成算法的對比實驗結(jié)果。這些實驗表明本文提出的算法不但可以得到更高的精度，并且在速度上也優(yōu)越于其他的算法。
　　?提出了一種聯(lián)合稀疏集成算法
　　闡述了如何通過使用一個聯(lián)合稀疏表示方法，把一組稀疏系數(shù)向量分配給一組弱分類器，最后組合成一個性能較強的分類器合集。該方法中，訓(xùn)練數(shù)據(jù)被分成多個子組，以產(chǎn)生子欠定系統(tǒng)。然后采用聯(lián)合稀疏方法將這些子群體聯(lián)合起來，進而分享它們關(guān)于個體分類

10、器的信息，以獲得一種改進的集成結(jié)果。由于提出的聯(lián)合稀疏集成需要將訓(xùn)練樣本分割成若干個子集，這也使得提出的算法非常適合通過并行化處理的方式來處理大規(guī)模的問題。本章的另外一個貢獻就是提出的算法可以處理多類別的分類問題（相比之下，上一章提出的方法只能處理兩類問題)。文中，給出了兩種不同的策略來產(chǎn)生子欠定系統(tǒng)，在兩種對訓(xùn)練數(shù)據(jù)不同的處理方法下得到的實驗結(jié)果也表明了此方法的有效性。另外，文中也給出了聯(lián)合稀疏集成算法和其他五種經(jīng)典方法的對比實驗，實