面向大數(shù)據(jù)的高效特征選擇與學(xué)習(xí)算法研究.pdf

1、近年來，隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算、三網(wǎng)融合等IT與通訊技術(shù)的迅猛發(fā)展，數(shù)據(jù)的快速增長成了許多行業(yè)共同面對的嚴(yán)峻挑戰(zhàn)和寶貴機遇，信息社會已經(jīng)進入了“大數(shù)據(jù)”時代。在當(dāng)前大數(shù)據(jù)環(huán)境下，挖掘其中蘊含的知識以指導(dǎo)實際生產(chǎn)和具體應(yīng)用，特征選擇和學(xué)習(xí)的重要性更加凸顯，不僅可以有效解決“維數(shù)災(zāi)難”，緩解“信息豐富、知識貧乏”現(xiàn)狀，降低復(fù)雜度;而且可以更好地認識和理解數(shù)據(jù)。本文面向大數(shù)據(jù)，開展了并行大規(guī)模特征選擇、復(fù)雜數(shù)據(jù)融合與高效學(xué)習(xí)、基于深度學(xué)習(xí)

2、的特征表示模型、算法及應(yīng)用研究。主要研究工作和創(chuàng)新概述分為以下四個部分。
　　第一部分:并行大規(guī)模特征選擇（第3章）
　　構(gòu)建了一個統(tǒng)一的并行大規(guī)模特征選擇框架，進而提出了相應(yīng)的模型并行方法、數(shù)據(jù)并行方法和模型-數(shù)據(jù)并行方法。以啟發(fā)式特征選擇為研究對象，分析其核心是特征重要度的計算，進而給出了統(tǒng)一的特征評價函數(shù)表示方法?；谠摽蚣?，給出了四種典型特征評價函數(shù)的分治方法，并分別設(shè)計了基于MapReduce和Spark的并行大規(guī)

3、模特征選擇算法。進一步引入粒計算理論對特征選擇過程進行優(yōu)化加速，并結(jié)合模型-數(shù)據(jù)并行方法，提出了PLAR-MDP算法。最后用UCI公共數(shù)據(jù)集、天文大數(shù)據(jù)集等在大數(shù)據(jù)計算平臺Hadoop和Spark對算法的有效性進行了評測、分析和比較，驗證了算法的有效性，同時說明了模型并行、數(shù)據(jù)并行和粒計算方法的有機結(jié)合可以最大限度提高數(shù)據(jù)處理性能。
　　第二部分:復(fù)雜數(shù)據(jù)融合及高效學(xué)習(xí)算法（第4章）
　　給出了復(fù)合信息系統(tǒng)的定義，進而擴展了

4、粗糙集模型，提出了復(fù)合粗糙集模型。該模型可以同時處理多種數(shù)據(jù)類型，為復(fù)雜數(shù)據(jù)融合提供了一個新的方法。概念近似是基于粗糙集模型的特征選擇算法的核心步驟，為有效計算概念近似，通過引入基本向量的概念，提出了復(fù)合粗糙集模型中近似集的矩陣表示方法，并設(shè)計了基于矩陣的近似集計算的批處理算法以及基于單GPU和GPU集群的并行算法。最后，利用人工數(shù)據(jù)集和UCI公共數(shù)據(jù)集進行實驗評測，驗證了算法的有效性，而且實驗結(jié)果表明在GPU集群上算法的加速比高，性能

5、得到了大幅度提升。
　　第三部分:基于深度學(xué)習(xí)的特征表示模型（第5章）
　　提出了基于深度學(xué)習(xí)的特征表示模型:SUGAR。該模型包括主網(wǎng)絡(luò)、輔助網(wǎng)絡(luò)和橋三部分，可以同時從標(biāo)記數(shù)據(jù)和無標(biāo)記數(shù)據(jù)中學(xué)習(xí)數(shù)據(jù)表征。其中主網(wǎng)絡(luò)和輔助網(wǎng)絡(luò)分別采用自編碼器和哈希學(xué)習(xí)方法來構(gòu)建，并應(yīng)用L1正則懲罰對參數(shù)進行約束以獲得魯棒性強的特征，橋的作用是使得主網(wǎng)絡(luò)和輔助網(wǎng)絡(luò)參數(shù)盡可能接近。設(shè)計了基于小批次隨機梯度下降的SUGAR模型訓(xùn)練算法。分別結(jié)合D

6、AE和CAE模型，給出了“SUGAR with DAE”和“SUGAR with CAE”擴展模型。進而采用堆棧方式將多個SUGAR模型累加，建立了基于SUGAR的深度學(xué)習(xí)模型:DeepSUGAR。最后在經(jīng)典的數(shù)字分類問題和8個深度學(xué)習(xí)基準(zhǔn)數(shù)據(jù)集對算法進行評測、分析和比較，驗證了算法的有效性，說明了所提出的深度學(xué)習(xí)模型可以產(chǎn)生更好的、魯棒性更強的特征表示，有效提高分類精度。
　　第四部分:特征學(xué)習(xí)模型在天文光譜識別中的應(yīng)用（第6章

7、）
　　回顧了天文恒星光譜的特點及傳統(tǒng)處理方法，進而根據(jù)恒星光譜的特點，提出了基于深度學(xué)習(xí)的特征表示方法LLDL。LLDL模型包括多個局部線性Maxout網(wǎng)絡(luò)作為其隱含層，并應(yīng)用Dropout技術(shù)來正則化Maxout網(wǎng)絡(luò)。進而設(shè)計了基于隨機梯度下降和Momentum的LLDL模型訓(xùn)練算法，并在多核CPU和GPU上進行算法實現(xiàn)。最后用公共的天文大數(shù)據(jù)集SDSS和LAMOST對算法進行評測、分析和比較，驗證了算法的有效性，相比于其他機