深度學(xué)習(xí)中的自編碼器的表達(dá)能力研究.pdf

1、作為機(jī)器學(xué)習(xí)系統(tǒng)的原材料，特征對(duì)于最終模型的影響毋庸置疑。機(jī)器學(xué)習(xí)算法的性能在很大程度上取決于特征表達(dá)的選擇，當(dāng)數(shù)據(jù)能夠被很好的表達(dá)為特征時(shí)，即便使用簡(jiǎn)單的模型也可達(dá)到滿意的精度。故在實(shí)際應(yīng)用機(jī)器學(xué)習(xí)算法時(shí)，很重要的一個(gè)步驟是怎樣預(yù)處理數(shù)據(jù)來(lái)得到一個(gè)好的特征表達(dá)。在圖像處理領(lǐng)域，原始像素值作為初級(jí)的特征表達(dá)通常維度很高，需要采用合適的方法對(duì)圖像高維特征進(jìn)行處理，得到更加簡(jiǎn)潔而有效的特征表達(dá)。數(shù)據(jù)降維作為一個(gè)研究熱點(diǎn)問題，它的關(guān)鍵思想是把

2、高維數(shù)據(jù)有效地在低維空間中表示，發(fā)現(xiàn)高維數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，從而找到一個(gè)好的、有效的低維特征表達(dá)。低維特征保留了原始高維數(shù)據(jù)里的重要信息，同時(shí)可以使后續(xù)的處理變得更加容易。在圖像處理領(lǐng)域中，這是一個(gè)備受關(guān)注的方向，具有重大的理論意義和實(shí)際價(jià)值。
　　深度學(xué)習(xí)框架和非監(jiān)督學(xué)習(xí)方法近年來(lái)越來(lái)越流行，吸引了很多機(jī)器學(xué)習(xí)和人工智能領(lǐng)域研究者們的興趣。最近的研究結(jié)果也證明了深度學(xué)習(xí)方法確實(shí)能夠取得非常好的結(jié)果，無(wú)論是在圖像、語(yǔ)音或是自然語(yǔ)言處理

3、領(lǐng)域。雖然深度學(xué)習(xí)方法取得了很好的結(jié)果，被廣泛應(yīng)用，但實(shí)際上它有點(diǎn)像是一個(gè)“黑箱子”，沒有非常充分并且嚴(yán)格的理論體系來(lái)支撐，我們不知道為什么它可以取得這樣好的結(jié)果。
　　基于以上，本文從深度學(xué)習(xí)中的“構(gòu)造模塊”入手，主要研究自編碼器的表達(dá)能力，重點(diǎn)為自編碼器在數(shù)據(jù)降維方面的能力以及自編碼器表達(dá)能力的穩(wěn)定性。具體研究?jī)?nèi)容如下：
　　第一，在深度學(xué)習(xí)方向，人們往往是通過(guò)采用越來(lái)越深的模型和越來(lái)越復(fù)雜的非監(jiān)督學(xué)習(xí)算法，來(lái)取得進(jìn)步。

4、本文從深度學(xué)習(xí)方法的“構(gòu)造模塊”入手，也就是單層的自編碼器（AE）和單層的限制玻爾茲曼機(jī)（RBM）。這兩種方法都可以作為表達(dá)轉(zhuǎn)換的方法，學(xué)到一個(gè)原始數(shù)據(jù)的新的表達(dá)，而當(dāng)限制第二層的節(jié)點(diǎn)數(shù)小于第一層的節(jié)點(diǎn)數(shù)時(shí)，又可以同時(shí)達(dá)到對(duì)原始高維數(shù)據(jù)降維的效果。本文期望能夠從深度學(xué)習(xí)的基礎(chǔ)方法入手，來(lái)更好地理解深度學(xué)習(xí)。
　　第二，作為線性降維方法的代表，主成分分析法（PCA）是一個(gè)簡(jiǎn)單而又被廣泛應(yīng)用的方法，同時(shí)，自編碼器和限制玻爾茲曼機(jī)也可以

5、看作相對(duì)較新的非線性降維方法。本文試圖更好地理解單層自編碼器和單層限制玻爾茲曼機(jī)。由于這兩種方法大體思路是一致的，主要在訓(xùn)練過(guò)程不同，在實(shí)驗(yàn)部分，我們著重在自編碼器的部分，探究單層自編碼器的表達(dá)能力，與主成分分析法做比較。
　　第三，本文重點(diǎn)探究了對(duì)于視覺特征的理解，自編碼器是否是一個(gè)好的表達(dá)轉(zhuǎn)換途徑。我們?cè)u(píng)估了單層自編碼器分別基于原始像素和基于局部描述子的降維作用及表達(dá)能力的穩(wěn)定性，與傳統(tǒng)方法主成分分析法進(jìn)行比較。在基于原始像素

6、的部分，我們?cè)贛NIST數(shù)據(jù)集上實(shí)現(xiàn)了兩種表達(dá)轉(zhuǎn)換和一個(gè)softmax分類器，探究算法性能如何隨著轉(zhuǎn)換得到的新的表達(dá)維數(shù)的變化而變化，通過(guò)算法的性能來(lái)評(píng)估單層自編碼器基于原始像素的降維作用及表達(dá)能力的穩(wěn)定性。在基于局部描述子的部分，我們通過(guò)SIFT匹配結(jié)果來(lái)評(píng)估單層自編碼器基于局部描述子——SIFT描述子的降維作用及表達(dá)能力的穩(wěn)定性?；谠枷袼睾突诰植棵枋鲎拥膶?shí)驗(yàn)都驗(yàn)證了單層自編碼器的降維作用，要優(yōu)于主成分分析法，以及單層自編碼器表