基于最短描述長度的高維特征選擇方法研究.pdf

1、高維特征選擇問題也稱為稀疏建模問題，是當(dāng)前機(jī)器學(xué)習(xí)研究領(lǐng)域的熱點(diǎn)研究問題之一，目標(biāo)是解決現(xiàn)有的特征建模方法在高維特征空間普遍失效的問題。主要的研究方法是基于模型參數(shù)的1-范數(shù)或零一范數(shù)約束的正則化方法。當(dāng)前流行的1-范數(shù)方法存在的主要問題是缺乏對相關(guān)特征的組選能力和特征選擇能力受樣本容量限制。而傳統(tǒng)的零-范數(shù)方法則在稀疏建模實(shí)踐中普遍存在過擬合問題，主要原因是對模型復(fù)雜度的約束條件不合理。最近的理論研究揭示出基于零-范數(shù)約束的逐步回歸法

2、在理論上能夠獲得比1-范數(shù)方法更好的稀疏建模性能。據(jù)此本文從最短描述長度原則出發(fā)，通過理論推導(dǎo)建立了三種新型的基于零-范數(shù)約束的高維特征選擇方法模型，分別是：
　　 ⑴通過向隨機(jī)復(fù)雜度模型中引入模型參數(shù)的高斯分布假設(shè)，對模型復(fù)雜度下界的費(fèi)舍爾信息近似公式進(jìn)行推導(dǎo)求解得到一個(gè)易于計(jì)算的特征選擇判據(jù)，據(jù)此構(gòu)造出一種基于隨機(jī)復(fù)雜度約束的特征選擇方法模型，并通過仿真實(shí)驗(yàn)和真實(shí)基因數(shù)據(jù)集上的實(shí)驗(yàn)，驗(yàn)證了該方法在稀疏建模任務(wù)中的性能優(yōu)于當(dāng)前

3、主流的1-范數(shù)方法和文獻(xiàn)報(bào)道的最新相關(guān)理論成果；
　　 ⑵通過向基于風(fēng)險(xiǎn)膨脹判據(jù)（RIC）的特征選擇模型中引入2-范數(shù)約束條件，解決了RIC模型從低維特征空間向高維特征空間的推廣問題，據(jù)此構(gòu)造出一種基于有偏風(fēng)險(xiǎn)約束的特征選擇方法模型，并同樣通過仿真實(shí)驗(yàn)和基因選擇實(shí)驗(yàn)驗(yàn)證了該方法在稀疏建模任務(wù)中相對于當(dāng)前主流方法的性能優(yōu)越性；
　　 ⑶為嘗試建立推廣性更好的零-范數(shù)高維特征選擇方法模型，本文在吸收借鑒前述方法的優(yōu)點(diǎn)的基礎(chǔ)上

4、，通過向隨機(jī)復(fù)雜度模型引入一個(gè)Tikhonov類型的正則化因子，削弱了該模型的理論限制條件，據(jù)此構(gòu)造出一個(gè)基于有偏最短描述長度的特征選擇方法。仿真實(shí)驗(yàn)，基因選擇及圖像分類實(shí)驗(yàn)的數(shù)據(jù)表明，該方法能夠有效處理稀疏建模任務(wù)，且性能優(yōu)于當(dāng)前主流的1-范數(shù)方法和和文獻(xiàn)報(bào)道的最新相關(guān)理論成果，在本文提出的三個(gè)模型中性能表現(xiàn)最優(yōu)。
　　 ⑷研究成果證明了基于零-范數(shù)的正則化特征選擇方法不僅適用于高維特征空間，而且能夠獲得比1-范數(shù)方法更好的稀