基于Kernel的數(shù)據(jù)學(xué)習(xí)算法研究.pdf

1、學(xué)習(xí)算法的目標(biāo)是尋找最小化風(fēng)險(xiǎn)泛函的最優(yōu)函數(shù)及其參數(shù)集合。通常選擇最小化訓(xùn)練集合上的誤差的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則。統(tǒng)計(jì)學(xué)習(xí)理論給出了另外一種學(xué)習(xí)原則：結(jié)構(gòu)化風(fēng)險(xiǎn)最小化原則。支持向量機(jī)實(shí)現(xiàn)了結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，而其主要特點(diǎn)就是使用Kernel技巧，本報(bào)告從以下幾個(gè)方面研究了基于Kernel的學(xué)習(xí)算法： 首先，我們研究構(gòu)造正定核函數(shù)的方法及基于Kernel的馬氏距離判別分析。給出了用正定核函數(shù)的已有的性質(zhì)構(gòu)造連續(xù)論域上的正定核函數(shù)的方法

2、。提出了一種基于正定核函數(shù)的馬氏距離判別實(shí)現(xiàn)方法。通過(guò)使用Kernel技巧實(shí)現(xiàn)在高維的Kernel特征空間中有效地計(jì)算馬氏距離。對(duì)二元分類(lèi)問(wèn)題而言，組內(nèi)方差相等時(shí)，馬氏距離確定的判別軌跡與基于Kernel的費(fèi)舍爾判別函數(shù)平行，并且通過(guò)特征空間中兩類(lèi)均值之間的中點(diǎn)。大量的模擬實(shí)驗(yàn)顯示了該方法的有效性。 其次，提出一種新的支持向量機(jī)的更新算法并討論其性質(zhì)，給出了相應(yīng)的實(shí)驗(yàn)結(jié)果。該過(guò)程是使用標(biāo)準(zhǔn)的支持向量算法得到初始的概念，然后利用文

3、中提出的概念更新方法，即求解一個(gè)類(lèi)似標(biāo)準(zhǔn)支持向量機(jī)算法的凸二次規(guī)劃問(wèn)題。更新模型具有與標(biāo)準(zhǔn)支持向量機(jī)類(lèi)似的數(shù)學(xué)形式，能夠得到解的稀疏表示；無(wú)需額外的計(jì)算就可以返回上一步；還能用于估計(jì)表達(dá)問(wèn)題所需的樣本的數(shù)量。 然后，我們提出了基于極小極大概率機(jī)的多類(lèi)別分類(lèi)算法。我們利用最小最大概率機(jī)的概率信息和樣本間隔信息構(gòu)造各個(gè)分類(lèi)器在結(jié)果合成階段的權(quán)重，克服了以往絕大多數(shù)算法在合成階段僅僅依靠投票數(shù)量來(lái)進(jìn)行決策和分類(lèi)器權(quán)重均等的不足。擴(kuò)展了