基于隨機(jī)初始化的非線(xiàn)性降維算法的研究.pdf

1、進(jìn)入21世紀(jì)以來(lái)，隨著互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展，人們獲得的數(shù)據(jù)量正在以幾何級(jí)的速度快速增長(zhǎng)。在許多領(lǐng)域，如電子商務(wù)、天文、航空航天等，每天所收集的數(shù)據(jù)已經(jīng)不能用傳統(tǒng)的GB或TB來(lái)衡量。目前，數(shù)據(jù)正在從不同層面對(duì)人類(lèi)社會(huì)經(jīng)濟(jì)生活產(chǎn)生著重要而深遠(yuǎn)的影響。如此海量的數(shù)據(jù)即給人們的生活帶來(lái)了方便，也給一些企業(yè)和科研工作人員帶來(lái)了煩惱。豐富的信息可以讓人們?cè)谧龀鲞x擇前有更多的權(quán)衡。但是如何從海量數(shù)據(jù)中快速的挖掘出對(duì)企業(yè)有意義的數(shù)據(jù)已經(jīng)成為企業(yè)需要面

2、對(duì)的問(wèn)題。如何對(duì)這些體積龐大、維度更高的數(shù)據(jù)進(jìn)行有效的分析也在困擾著科研工作人員。其實(shí)，解決這些問(wèn)題的根本就在于如何通過(guò)一種技術(shù)手段將這些維度很高的數(shù)據(jù)用我們熟悉的低維數(shù)據(jù)來(lái)表示。因?yàn)橐坏?shù)據(jù)的維度變的很低，對(duì)我們來(lái)說(shuō)，處理起來(lái)就非常的簡(jiǎn)單。降維技術(shù)的存在正好可以被用來(lái)解決這一類(lèi)問(wèn)題。
　　降維技術(shù)的出現(xiàn)給企業(yè)和科研工作人員的工作提供了極大的便利。通過(guò)使用降維技術(shù)，我們可以更容易地對(duì)高維數(shù)據(jù)的低維表示進(jìn)行分析。如此一來(lái)，我們就可以

3、去更好的應(yīng)用這些高維數(shù)據(jù)。降維技術(shù)的產(chǎn)生經(jīng)歷了一個(gè)由線(xiàn)性到非線(xiàn)性的過(guò)程。在早期，線(xiàn)性降維技術(shù)應(yīng)用的比較廣泛。誕生了許多線(xiàn)性降維算法。例如有主成分分析算法、線(xiàn)性判別算法、投影尋蹤算法等。對(duì)于一些其結(jié)構(gòu)呈現(xiàn)線(xiàn)性關(guān)系的數(shù)據(jù)，線(xiàn)性降維算法往往能得到較好的降維結(jié)果。但是，隨著數(shù)據(jù)體積以及維度的不斷增加，數(shù)據(jù)的結(jié)構(gòu)也發(fā)生了很大變化。數(shù)據(jù)之間的結(jié)構(gòu)不再是簡(jiǎn)單的線(xiàn)性關(guān)系，而是一種更加復(fù)雜的非線(xiàn)性結(jié)構(gòu)。在對(duì)具有非線(xiàn)性結(jié)構(gòu)的數(shù)據(jù)上應(yīng)用線(xiàn)性降維算法時(shí)，其得到

4、的低維結(jié)果往往無(wú)法令人滿(mǎn)意。為了解決這一難題，許多非線(xiàn)性降維算法近年來(lái)相繼被人們提出。比如有多維尺度分析算法、ISOMAP算法、局部線(xiàn)性嵌入降維算法、隨機(jī)鄰域嵌入算法以及t分布隨機(jī)鄰域嵌入算法等等。與線(xiàn)性降維算法相比，非線(xiàn)性降維算法在面對(duì)結(jié)構(gòu)為非線(xiàn)性的數(shù)據(jù)時(shí)往往具有著明顯的優(yōu)勢(shì)。其得到的低維結(jié)果也往往好于由線(xiàn)性降維算法產(chǎn)生的低維結(jié)果。
　　本文主要討論的是非線(xiàn)性降維算法。在對(duì)幾種線(xiàn)性降維算法的原理進(jìn)行簡(jiǎn)單介紹之后，接著對(duì)部分非線(xiàn)性

5、降維算法的原理及具體的實(shí)現(xiàn)過(guò)程進(jìn)行了詳細(xì)的介紹。通過(guò)對(duì)不同的非線(xiàn)性降維算法原理的比較。在此基礎(chǔ)上本文提出了一種新的基于隨機(jī)初始化的非線(xiàn)性降維算法，稱(chēng)之為最近鄰隨機(jī)嵌入（Stochastic nonlinear dimensionality reduction based on nearest neighbors，簡(jiǎn)稱(chēng)NNSE）算法。我們將該算法產(chǎn)生的低維結(jié)果與另外三種降維算法（主成分分析算法、局部線(xiàn)性嵌入算法、t分布隨機(jī)鄰域嵌入算法）得