高斯核參數(shù)選擇與正交多項(xiàng)式核構(gòu)造.pdf

1、數(shù)據(jù)獲取和存儲(chǔ)能力的不斷增強(qiáng)、計(jì)算機(jī)運(yùn)算能力的飛速發(fā)展以及人們借助計(jì)算機(jī)挖掘數(shù)據(jù)中隱藏模式或規(guī)律的接連成功，使得模式識(shí)別成為一個(gè)日益活躍的研究領(lǐng)域.基于核的學(xué)習(xí)方法，簡稱核方法，具有嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)基礎(chǔ)、典型的模塊結(jié)構(gòu)和高效的非線性運(yùn)算能力，能有效規(guī)避“維數(shù)災(zāi)難”，“局部極小值”及“過擬合”等問題，是處理中小規(guī)模數(shù)據(jù)的重要模式識(shí)別方法.核函數(shù)及其參數(shù)的選擇是核方法研究中難以回避的困難問題，直接決定著核方法的最終性能.因此如何合理快速地進(jìn)行核選

2、擇以達(dá)到核方法的預(yù)期效果是兼具理論價(jià)值和實(shí)踐意義的研究課題.
　　在眾多的核函數(shù)中，高斯核函數(shù)因其性能表現(xiàn)穩(wěn)定優(yōu)越成為核參數(shù)優(yōu)化分析中的重要研究對(duì)象，正交多項(xiàng)式核函數(shù)則憑借其核參數(shù)易于優(yōu)化的特點(diǎn)成為核函數(shù)研究的一個(gè)新熱點(diǎn).對(duì)高斯核函數(shù)而言，時(shí)間復(fù)雜度高、算法實(shí)現(xiàn)困難以及樣本數(shù)據(jù)需服從正態(tài)分布假設(shè)等是影響其參數(shù)優(yōu)化方法普適性的主要問題，如何克服這些問題是高斯核參數(shù)優(yōu)化研究的重要方向.對(duì)正交多項(xiàng)式核函數(shù)而言，如何在眾多的正交多項(xiàng)式核函

3、數(shù)中選擇合適的核函數(shù)是一個(gè)亟待解決的問題.
　　本文立足核函數(shù)及其參數(shù)的選擇問題，圍繞高斯核函數(shù)與正交多項(xiàng)式核函數(shù)這兩類核函數(shù)，旨在提出針對(duì)高斯核函數(shù)的核參數(shù)選擇準(zhǔn)則和針對(duì)正交多項(xiàng)式核函數(shù)的構(gòu)造及選擇指導(dǎo).本文的主要研究工作包括:
　　(1)提出優(yōu)化高斯核參數(shù)的中心核極化準(zhǔn)則.為增強(qiáng)矩陣匹配值與核學(xué)習(xí)器性能表現(xiàn)之間的相關(guān)性，通過最大化增加矩陣中心化處理的核矩陣與標(biāo)簽矩陣之間的匹配值提出中心核極化準(zhǔn)則，有效減少了數(shù)據(jù)原點(diǎn)坐標(biāo)及

4、非平衡數(shù)據(jù)對(duì)原有核極化準(zhǔn)則的影響.證明了所提準(zhǔn)則對(duì)應(yīng)目標(biāo)函數(shù)近似最優(yōu)解的存在唯一性，奠定了快速鎖定核參數(shù)的理論基礎(chǔ)，指出中心核極化準(zhǔn)則等價(jià)于特征空間中異類樣本均值間距最大化準(zhǔn)則，為該準(zhǔn)則提供了重要理論支撐.文中通過3種核方法在23個(gè)數(shù)據(jù)集上驗(yàn)證了中心核極化準(zhǔn)則及其多分類擴(kuò)展形式的有效性.
　　(2)提出優(yōu)化高斯核參數(shù)的廣義核極化準(zhǔn)則.為更準(zhǔn)確地刻畫特征空間中異類樣本間的分離度，通過增加類內(nèi)局部結(jié)構(gòu)考量提出廣義核極化準(zhǔn)則來解決分類問

5、題中的高斯核參數(shù)優(yōu)化，以獲得合適的核參數(shù)來提高識(shí)別性能.該準(zhǔn)則可視為核極化準(zhǔn)則、中心核極化準(zhǔn)則以及局部核極化準(zhǔn)則的泛化形式.給出廣義核極化準(zhǔn)則對(duì)應(yīng)目標(biāo)函數(shù)近似最優(yōu)解的存在唯一性證明，并指明了局部核極化準(zhǔn)則對(duì)應(yīng)目標(biāo)函數(shù)近似最優(yōu)解的存在唯一性，充實(shí)了高斯核選擇準(zhǔn)則的相關(guān)理論研究，并實(shí)現(xiàn)了對(duì)應(yīng)核參數(shù)的快速尋優(yōu).文中通過支持向量機(jī)在19個(gè)數(shù)據(jù)集上驗(yàn)證了廣義核極化準(zhǔn)則及其多分類擴(kuò)展形式的有效性.
　　(3)在分析比較高斯修正的正交多項(xiàng)式核函

6、數(shù)的基礎(chǔ)上構(gòu)造出三角修正的正交多項(xiàng)式核函數(shù)，針對(duì)近來涌現(xiàn)的高斯修正的正交多項(xiàng)式核函數(shù)，分析其性質(zhì)并基于分類實(shí)驗(yàn)結(jié)果對(duì)未歸一化數(shù)據(jù)提出相應(yīng)的核函數(shù)選擇及其核參數(shù)取值的建議.進(jìn)一步為回避此類核函數(shù)高斯修正項(xiàng)中核參數(shù)選擇的困難，構(gòu)造出三角修正的正交多項(xiàng)式核函數(shù)，豐富了正交多項(xiàng)式核函數(shù)種類.新構(gòu)造的核函數(shù)不僅具有核參數(shù)易于優(yōu)化的特點(diǎn)，而且融合了三角核函數(shù)的尺度不變性，實(shí)驗(yàn)結(jié)果驗(yàn)證了此類核函數(shù)具有良好的分類性能.
　　(4)給出正交多項(xiàng)式核

7、函數(shù)的構(gòu)造及選擇指導(dǎo).針對(duì)基于不同基礎(chǔ)正交多項(xiàng)式函數(shù)、不同修正項(xiàng)及不同構(gòu)造方法提出的正交多項(xiàng)式核函數(shù)，深入分析其性質(zhì)及構(gòu)造特點(diǎn)，明晰這些類核函數(shù)間的異同點(diǎn).在32個(gè)歸一化標(biāo)準(zhǔn)數(shù)據(jù)集上驗(yàn)證這些類正交多項(xiàng)式核函數(shù)的分類性能與回歸性能，利用統(tǒng)計(jì)分析手段客觀評(píng)價(jià)其泛化能力優(yōu)劣，并通過與4類常見核函數(shù)的性能比較來說明正交多項(xiàng)式核函數(shù)的通用性.所得結(jié)論可為構(gòu)造及選擇正交多項(xiàng)式核函數(shù)提供理論依據(jù)和技術(shù)支持.
　　核選擇是核方法研究中的根本問題.