exin和feng39;smca學(xué)習(xí)算法的收劍性分析

1、碩士學(xué)位論文E X l N 禾l F e n g ’SM C A 學(xué)習(xí)算法的收斂性分析T h e c o n v e r g e n c e o fE X I Na n dF e n g ’SM C A l e a r n i n ga l g o r i t h m 一作者姓名：學(xué)科專業(yè)：學(xué) 號(hào)：指導(dǎo)教師：完成日期：游麗佳計(jì)算數(shù)學(xué)2 1 0 0 1 0 1 8李正學(xué)副教授2 0 1 3 年4 月2 5 日大連理工大學(xué)D a l i a

2、 nU n i v e r s i t yo fT e c h n o l o g y大連理工大學(xué)碩士學(xué)位論文摘 要最小主元分析( M i n o rC o m p o n e n t A n a l y s i s ，M C A ) 是一種多元的統(tǒng)計(jì)方法，主要應(yīng)用于數(shù)據(jù)分析、圖形圖像處理、曲線／曲面擬合等領(lǐng)域．M C A 學(xué)習(xí)算法用于尋找空間中的一個(gè)方向，使得目標(biāo)數(shù)據(jù)在該方向上投影的協(xié)方差最?。畟鹘y(tǒng)的對(duì)關(guān)聯(lián)矩陣進(jìn)行特征值分解或奇異值分

3、解的方法計(jì)算復(fù)雜，在應(yīng)用于工程領(lǐng)域時(shí)面臨著許多困難．而人工神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的自組織、魯棒性及并行處理信息的能力，非常適合于對(duì)高維信號(hào)的主元進(jìn)行在線提?。畾v史上O j a 第一次給出了提取第一個(gè)主分量的神經(jīng)網(wǎng)絡(luò)方法．后來(lái)人們?cè)谒幕A(chǔ)上根據(jù)反赫布規(guī)則提出了許多的M C A 學(xué)習(xí)算法．M C A 算法是隨機(jī)的離散時(shí)間算法，它能否收斂到最小主元方向是一個(gè)非常重要的問(wèn)題，研究的方法通常有兩種：確定性連續(xù)時(shí)間方法( D C T ) 和確定性離散時(shí)

4、間方法( D D T ) ．由隨機(jī)逼近理論可知，使用確定連續(xù)時(shí)間方法分析M C A 算法的收斂性時(shí)，要求學(xué)習(xí)率趨于零，這一條件在實(shí)際應(yīng)用中很難得到滿足．而確定性離散時(shí)間方法不僅保證了算法的離散特征，而且其學(xué)習(xí)率不要求趨于零．本文基于D D T 系統(tǒng)對(duì)E X I N M C A 幣[ I F e n g ’SM C A 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法進(jìn)行了研究．文獻(xiàn)『2 0 ] 探討了基于可變學(xué)習(xí)率的E X I NM C A 學(xué)習(xí)算法收斂性問(wèn)題．本文將

5、上述工作推廣至常數(shù)學(xué)習(xí)率的情形，并證明了相應(yīng)的理論結(jié)果．文f 2 1 1 給出J ' F e n g ’SM C A 學(xué)習(xí)算法在不變集& 下的收斂條件7 7 ≤m i n { o ．5 ，魯} ，我們不僅給出了更大的學(xué)習(xí)率選取范r 、L n 1 J圍7 7 < r a i n { o ．5 ，善率} ，而且還對(duì)不變集做了進(jìn)一步的剖析．本文具體安排如下：第一部分介紹了神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí)和相關(guān)的M C A 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)