核函數(shù)的參數(shù)選擇.pdf

1、20世紀(jì)80年代，模式分析領(lǐng)域經(jīng)歷了一場(chǎng)“非線(xiàn)性革命”：為擺脫計(jì)算和統(tǒng)計(jì)上的線(xiàn)性局限的算法，支持向量機(jī)(Support Vector Machine,SVM)被第一次作為核方法提了出來(lái)。隨后，基于核的方法擴(kuò)展到除分類(lèi)以外更寬廣的模式分析領(lǐng)域。這樣，新技術(shù)都被嚴(yán)格的理論分析所推動(dòng)，在計(jì)算效率的保證下制造出來(lái)或發(fā)展起來(lái)。 基于核的分析對(duì)于數(shù)學(xué)家、科學(xué)家和工程師來(lái)說(shuō)，是一個(gè)強(qiáng)大的新工具。它提供了非常豐富的方法，可以應(yīng)用在模式分析、信號(hào)

2、處理、句法模式識(shí)別和其它模式識(shí)別領(lǐng)域。隨著基于核的學(xué)習(xí)理論在應(yīng)用上的巨大成功，它日漸成為當(dāng)今機(jī)器學(xué)習(xí)研究的熱點(diǎn)和主流之一。 核參數(shù)選擇是基于核的分類(lèi)算法的一種新型技術(shù)，對(duì)于基于核的分類(lèi)器起著至關(guān)重要的作用。近年來(lái)許多人開(kāi)始認(rèn)真審視這項(xiàng)技術(shù)，并且新的思想和技術(shù)還在不斷涌現(xiàn)。如何找到核參數(shù)的最優(yōu)點(diǎn)日漸成為一項(xiàng)熱門(mén)研究課題，并相繼出現(xiàn)了多種核參數(shù)選擇方式，其中使用目標(biāo)函數(shù)選擇核參數(shù)的方式越來(lái)越受到人們的重視。 通過(guò)歸納核聚類(lèi)算

3、法，本文主要研究核函數(shù)的參數(shù)選擇方法及其應(yīng)用問(wèn)題。在此基礎(chǔ)上，本文又著重研究使用目標(biāo)函數(shù)為KNN以及基于核的K-demiods選擇參數(shù)的算法，并通過(guò)實(shí)驗(yàn)驗(yàn)證和分析了目標(biāo)函數(shù)的使用對(duì)核參數(shù)選擇效率的影響，從而為核函數(shù)參數(shù)選擇更廣泛的推廣應(yīng)用提供了有利的基礎(chǔ)。 本文的主要?jiǎng)?chuàng)新點(diǎn)如下： 1.總結(jié)核的基本理論及劃分聚類(lèi)的主要算法。 本文系統(tǒng)和全面的總結(jié)了以前零散的核的基本理論和幾種常用的核函數(shù)，并對(duì)如何構(gòu)造新的核函數(shù)進(jìn)行

4、了闡述，為核函數(shù)的構(gòu)造提供了堅(jiān)實(shí)的理論基礎(chǔ)。同時(shí)，文章對(duì)主要的劃分聚類(lèi)算法的進(jìn)行了總結(jié)，如K-均值法、基于核的fisher判別分析、基于核的感知機(jī)等。 2.提出目標(biāo)函數(shù)為KNN選擇核參數(shù)的兩種方式。 傳統(tǒng)的選擇最優(yōu)核參數(shù)的算法具有很高的時(shí)間復(fù)雜度和空間復(fù)雜度，并且擴(kuò)展能力很有限。本文針對(duì)基于核的最小距離分類(lèi)器的特點(diǎn)，結(jié)合新空間中數(shù)據(jù)點(diǎn)的分布情況，設(shè)計(jì)了選擇最優(yōu)核參數(shù)的目標(biāo)函數(shù)算法，為基于核的最小距離分類(lèi)器提供了有效支持，

5、顯著提高了其分類(lèi)的正確率。其中目標(biāo)函數(shù)的使用可以減少運(yùn)算次數(shù)、簡(jiǎn)化運(yùn)算過(guò)程，從而顯著提高核參數(shù)選擇算法的效率。 3.提出目標(biāo)函數(shù)為基于核的K-demiods選擇核參數(shù)的方式。 基于核的K-demiods方法是一種KNN的改進(jìn)的算法?，F(xiàn)有的基于核的分類(lèi)算法主要在通過(guò)核映射來(lái)提高分類(lèi)正確率，但是分類(lèi)正確率與參數(shù)的選擇有直接聯(lián)系。我們通過(guò)描，述數(shù)據(jù)點(diǎn)在新的特征空間的期望，通過(guò)目標(biāo)函數(shù)來(lái)選擇參數(shù)，從而改善了該算法的性能，基于人工