特征選擇算法及其在基于內(nèi)容圖像檢索中的應(yīng)用研究.pdf

1、隨著計(jì)算機(jī)應(yīng)用范圍和領(lǐng)域的日益擴(kuò)大，特別是Internet的飛速發(fā)展，在各種應(yīng)用系統(tǒng)和Internet上積累了大量、甚至海量數(shù)據(jù)，產(chǎn)生了“數(shù)據(jù)爆炸、知識(shí)貧乏”的現(xiàn)象；數(shù)據(jù)挖掘是解決這種問題的最為有效的手段，但是要有效地利用數(shù)據(jù)挖掘，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理是必不可少的，而特征選擇是數(shù)據(jù)預(yù)處理中一種重要而且經(jīng)常采用的方法。此外，在機(jī)器學(xué)習(xí)和模式識(shí)別中，特征選擇也是一個(gè)必要的步驟。 特征選擇的研究開始于上個(gè)世紀(jì)的六十年代，已經(jīng)有幾十年的歷史

2、，取得了許多成果，但隨著新的應(yīng)用領(lǐng)域和新對(duì)象不斷涌現(xiàn)，使得特征選擇還有許多問題亟待解決。本論文對(duì)此作了詳細(xì)介紹，并對(duì)目前特征選擇的研究熱點(diǎn)和問題進(jìn)行了深入的研究，取得了一定的成果。 作者把特征選擇的研究分為三個(gè)階段，首先介紹了常規(guī)的特征選擇算法模型，并分別從研究人員和用戶角度，對(duì)特征選擇算法進(jìn)行分類，這將大大方便用戶選擇合適的特征選擇算法，有助于特征選擇算法的應(yīng)用，也為特征選擇算法的進(jìn)一步研究打下堅(jiān)實(shí)的基礎(chǔ)。 其次，提出

3、或者介紹了一些具體的特征選擇算法，也是當(dāng)前的一些研究重點(diǎn)和熱點(diǎn)，包括在模糊特征空間進(jìn)行特征選擇的算法、監(jiān)督的高維特征選擇算法、非監(jiān)督的高維特征選擇算法和小樣本訓(xùn)練的特征選擇算法。其中，對(duì)于模糊特征空間的特征選擇，主要是利用擴(kuò)張矩陣作為搜索策略，類間的模糊相似性作為評(píng)價(jià)準(zhǔn)則，理論和實(shí)驗(yàn)都表明該算法具有較好的性能和低的時(shí)間開銷。該算法屬于一種專業(yè)算法，充分考慮特征的模糊性，可以應(yīng)用到模糊分類器的設(shè)計(jì)中。而在監(jiān)督的高維特征選擇中，由于現(xiàn)實(shí)的高

4、維數(shù)據(jù)集中往往存在大量的冗余特征和不相關(guān)特征，因此作者提出了一種基于特征關(guān)聯(lián)性的分層過濾器方法，有效地消除冗余特征和不相關(guān)特征，實(shí)驗(yàn)表明該算法能有效地降低特征維數(shù)。同時(shí)將該方法與部分基于關(guān)聯(lián)性的方法進(jìn)行了比較分析，并全面系統(tǒng)地回顧了所有基于特征關(guān)聯(lián)性的高維特征選擇算法以及關(guān)聯(lián)性的定義和計(jì)算公式，大大有助于以后的研究。在非監(jiān)督特征選擇的研究中，作者提出一種新的基于特征排序和分層的過濾器算法，排序規(guī)則采用的是指數(shù)熵，而評(píng)價(jià)準(zhǔn)則采用了模糊特征

5、評(píng)價(jià)指標(biāo)，該算法克服了其它一些非監(jiān)督特征選擇算法的缺點(diǎn)，可以同時(shí)剔除冗余特征和不相關(guān)特征，能有效處理高維數(shù)據(jù)和噪聲數(shù)據(jù)，且計(jì)算的開銷較小。前面提出的三種算法都是建立在訓(xùn)練樣本較充分的基礎(chǔ)之上，但當(dāng)可獲取的訓(xùn)練樣本相對(duì)于特征維數(shù)偏少時(shí)，如何有效地進(jìn)行特征選擇？作者詳細(xì)介紹了一類基于支持向量機(jī)的特征選擇算法，該類算法是建立在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上，尋求結(jié)構(gòu)風(fēng)險(xiǎn)最小化的特征子集，主要是利用對(duì)支持向量機(jī)的性能影響進(jìn)行特征選擇，選擇的效果很好。目前

6、的研究還只是對(duì)樣本類別已知的情況下進(jìn)行特征選擇，隨著支持向量機(jī)的理論研究不斷深入，支持向量機(jī)用于非監(jiān)督特征選擇是完全可能的。 另外，還對(duì)特征選擇算法的應(yīng)用進(jìn)行了初步探討，并以特征選擇算法在基于內(nèi)容圖像檢索中的應(yīng)用作為例子，詳細(xì)分析了基于內(nèi)容的圖像檢索中特征選擇的必要性和采用的方法，對(duì)其特有的方法——相關(guān)反饋技術(shù)進(jìn)行了深入的分析研究，給出其理論模型。同時(shí)將前面提出的監(jiān)督高維特征選擇算法在圖像數(shù)據(jù)庫中做了粗略的實(shí)驗(yàn)，獲得不錯(cuò)的效果。