多核學(xué)習(xí)算法研究.pdf

1、機(jī)器學(xué)習(xí)技術(shù)被廣泛應(yīng)用于計(jì)算機(jī)視覺，自然語言處理，生物信息學(xué)，醫(yī)療圖像分析，入侵檢測(cè)等諸多領(lǐng)域。作為一種最主要的機(jī)器學(xué)習(xí)技術(shù)，核方法提供了一個(gè)強(qiáng)大的及統(tǒng)一的學(xué)習(xí)框架。它使得研究者專注于算法設(shè)計(jì)而無需考慮數(shù)據(jù)的屬性，如字符串，向量，文本，圖等。正因?yàn)榫哂写藘?yōu)點(diǎn)，核方法被廣泛應(yīng)用于不同的學(xué)習(xí)任務(wù)中，如分類，回歸，聚類，排序等。眾所周知，核方法的性能極大地依賴于核及其參數(shù)的選擇。然而，如何選擇核及其參數(shù)仍然是一個(gè)開放性的問題。因此，對(duì)核算法的

2、探索研究有著極其重要的應(yīng)用價(jià)值。本文的工作集中于設(shè)計(jì)有效的核學(xué)習(xí)算法以提高算法的性能，其貢獻(xiàn)可以概括為如下七個(gè)方面：
　　(1)提出了一種自適應(yīng)的最優(yōu)鄰居核學(xué)習(xí)算法。通過假設(shè)最優(yōu)核可以表示成參數(shù)化的高斯核函數(shù)或多個(gè)基核的線性組合，該算法能自適應(yīng)地學(xué)習(xí)最優(yōu)核參數(shù)，最優(yōu)鄰居核及分類器的結(jié)構(gòu)參數(shù)。另外，我們從概率角度解釋了該算法以及現(xiàn)有的核方法。根據(jù)該概率解釋，我們可以很清晰地得到現(xiàn)有核方法之間的區(qū)別和聯(lián)系。大規(guī)模的實(shí)驗(yàn)驗(yàn)證了該算法的有

3、效性和高效性。
　　(2)提出了一種基于跡–間距的多核學(xué)習(xí)算法。根據(jù)機(jī)器學(xué)習(xí)理論，分類器的泛化性能是最小包含球半徑與間距的乘積的下界。本文中，我們不是直接最小化最小包含球半徑，而是最小化它的一個(gè)近似，即散度矩陣的跡，提出了一種基于跡–間距最小化的多核學(xué)習(xí)算法。在公共測(cè)試集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了該算法的有效性。
　　(3)提出了一種基于基核半徑–間距的多核學(xué)習(xí)算法。盡管基于跡–間距最小化的多核學(xué)習(xí)算法能取得較好的分類性能，它的目標(biāo)

4、函數(shù)不一定是泛化誤差的上界。為了克服這個(gè)理論上的缺陷，我們首先證明了基核半徑的線性組合是最小包含球半徑的一個(gè)上界，并提出用基核半徑的線性組合來替換最小包含球半徑，得到一種基于基核半徑–間距的多核學(xué)習(xí)算法。多個(gè)公共數(shù)據(jù)集和醫(yī)學(xué)數(shù)據(jù)集上的分類結(jié)果驗(yàn)證了該算法的有效性。
　　(4)提出了一種缺失多核學(xué)習(xí)算法。當(dāng)某些樣本的一些通道信息缺失時(shí)，如何利用這些不完整的數(shù)據(jù)進(jìn)行多核學(xué)習(xí)是一個(gè)重要和常見的問題。為了解決這個(gè)問題，我們首先在每個(gè)樣本相

5、關(guān)的多核空間中定義基于樣本的間距。然后最大化所有樣本間距的最小值以期望達(dá)到更好的泛化性能。多個(gè)公共測(cè)試數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了我們算法的有效性。而且，實(shí)驗(yàn)結(jié)果表明，缺失比率越高，我們算法的優(yōu)越性越明顯。
　　(5)提出了一種樣本自適應(yīng)多核學(xué)習(xí)算法。當(dāng)某些樣本的一些通道信息含有噪聲或者被損壞時(shí)，直接利用這些數(shù)據(jù)進(jìn)行多核學(xué)習(xí)勢(shì)必會(huì)影響最后的學(xué)習(xí)性能。為了克服這個(gè)問題，我們提出了一種隱多核學(xué)習(xí)算法。該算法在多核學(xué)習(xí)過程中能自動(dòng)關(guān)閉那些含

6、有噪聲或者被損壞的通道，以消除它們對(duì)多核學(xué)習(xí)的影響，導(dǎo)致更好的學(xué)習(xí)性能。多個(gè)公共測(cè)試集的實(shí)驗(yàn)結(jié)果驗(yàn)證了該算法的有效性。
　　(6)提出了一種多核極限機(jī)算法。我們提出了一種多核極限機(jī)的學(xué)習(xí)算法。該算法使得現(xiàn)有的極限機(jī)算法能自動(dòng)地學(xué)習(xí)核參數(shù)。更重要的是，它也使得極限機(jī)算法能夠有效地集成來自多通道的數(shù)據(jù)源信息。多個(gè)公共測(cè)試集的實(shí)驗(yàn)結(jié)果驗(yàn)證了該算法的有效性和高效性。
　　(7)提出了一種全局和局部相似度保存的特征選擇算法。我們提出了