大規(guī)模稀疏學(xué)習(xí)研究：優(yōu)化算法及其應(yīng)用.pdf

1、大規(guī)模稀疏學(xué)習(xí)是機器學(xué)習(xí)中的重要方法之一，在很多實際應(yīng)用問題上有著廣泛應(yīng)用，比如，文本信息挖掘、生物信息學(xué)、圖像處理、新聞推薦等等。然而，在具有海量樣本和超高特征維度的大規(guī)模問題中，大規(guī)模稀疏學(xué)習(xí)模型的高效訓(xùn)練依然是一個非常具有挑戰(zhàn)性的問題。因此，多年來，大規(guī)模稀疏學(xué)習(xí)一直是學(xué)術(shù)界和工業(yè)界的重要研究熱點。現(xiàn)有的大規(guī)模稀疏學(xué)習(xí)模型訓(xùn)練方法，大多是基于隨機復(fù)合優(yōu)化算法設(shè)計的。因為其迭代過程中的在線批量轉(zhuǎn)換步驟存在缺陷，所以，現(xiàn)有的算法不能獲

2、得真正稀疏的模型。
　　本研究提出了一個簡單有效的隨機復(fù)合優(yōu)化框架以及在此框架下的三個具體算法。理論分析和實驗結(jié)果顯示，我們的算法不僅在稀疏學(xué)習(xí)能力方面完全優(yōu)于現(xiàn)有算法，而且能將大概率誤差界降低一個數(shù)量級。篩選是一類能夠有效加速大規(guī)模稀疏學(xué)習(xí)模型訓(xùn)練的新興技術(shù)，能夠快速檢測出與模型無關(guān)的特征或者樣本并將其從模型中剔除，從而降低模型規(guī)模、提高訓(xùn)練效率。但是，現(xiàn)有的篩選算法都只單一研究特征篩選或者樣本篩選，無法應(yīng)用于數(shù)據(jù)量和特征數(shù)量都

3、非常大的應(yīng)用中。為此，我們提出了一個基于原問題和對偶問題解的準(zhǔn)確估計的稀疏支持向量機靜態(tài)加速訓(xùn)練算法，該算法能夠同時篩選與模型無關(guān)的特征和樣本。實驗結(jié)果顯示，我們的算法能夠帶來速度上幾個數(shù)量級的提升。另外，我們注意到，隨機矩陣算法在大規(guī)模數(shù)據(jù)分析中具有很高的時間效率，但尚未被引入到大規(guī)模稀疏學(xué)習(xí)模型的訓(xùn)練中。據(jù)此，我們創(chuàng)造性地將隨機矩陣引入到稀疏學(xué)習(xí)中，提出了基于隨機投影的加速稀疏線性回歸算法。我們的算法能在取得指數(shù)收斂速度的同時，大大

4、降低單次迭代的計算復(fù)雜度，而且我們算法的中間解的稀疏性具有理論保證。最后，在具體應(yīng)用方面，由于生物數(shù)據(jù)（如人類基因數(shù)據(jù)）常常具有非常高的維度，而且其所用的稀疏學(xué)習(xí)模型比較復(fù)雜，因此，模型訓(xùn)練效率一直是大規(guī)模稀疏學(xué)習(xí)模型在生物信息學(xué)中應(yīng)用時面臨的瓶頸問題。對此，我們以阿爾茨海默病為例，提出了一種基于共享樹結(jié)構(gòu)的多任務(wù)特征學(xué)習(xí)的基因風(fēng)險因子檢測算法。這是一項能夠通過同時利用特征結(jié)構(gòu)信息和多任務(wù)間共享信息來提高檢測性能的獨特技術(shù)。我們還為該模