基于增量聚類和ReliefF的特征選擇方法.pdf

1、隨著計(jì)算機(jī)科學(xué)技術(shù)的迅速發(fā)展以及人工智能技術(shù)的興起，模式識(shí)別得到越來越廣泛的應(yīng)用。人們?cè)谶M(jìn)行模式識(shí)別時(shí)，通常需要采集數(shù)量巨大的原始特征，使得原始特征空間的維數(shù)達(dá)到幾千甚至幾萬維，大大降低了識(shí)別效率和識(shí)別正確率。特征選擇作為模式識(shí)別中非常重要和關(guān)鍵的一個(gè)步驟，對(duì)分類決策而言，起著非常重要的作用，直接影響識(shí)別結(jié)果。
　　 本文在全面分析現(xiàn)有特征選擇方法的基礎(chǔ)上，重點(diǎn)研究了Relief特征選擇方法。相對(duì)其它特征選擇方法，Relief不

2、管是時(shí)間代價(jià)還是對(duì)數(shù)據(jù)類型的限制上都有明顯的優(yōu)勢(shì)。因此，選擇Relief算法的改進(jìn)算法ReliefF作為研究的出發(fā)點(diǎn)。ReliefF算法是一種有監(jiān)督學(xué)習(xí)的特征選擇方法，很大程度上依賴于類別標(biāo)簽。而以聚類為基本工具進(jìn)行特征選擇，不需要依賴類別標(biāo)簽，對(duì)數(shù)據(jù)類型沒有約束，更適合于大規(guī)模數(shù)據(jù)集，能夠適用于任何情況下的數(shù)據(jù)降維。將聚類和ReliefF方法結(jié)合起來，能在無類別標(biāo)簽的情況下，利用ReliefF方法實(shí)現(xiàn)對(duì)大規(guī)模數(shù)據(jù)集進(jìn)行特征選擇。

3、>　　 為此，本文對(duì)增量聚類與ReliefF相結(jié)合的特征選擇方法進(jìn)行了較深入的研究。研究發(fā)現(xiàn)，增量聚類方法和ReliefF方法均存在一些不足，若簡(jiǎn)單地將這兩種方法組合起來進(jìn)行特征選擇，這些問題并不能解決。在全面分析增量聚類方法和ReliefF方法存在的問題的基礎(chǔ)上，針對(duì)增量聚類和ReliefF方法的不足，提出改進(jìn)策略：(1)通過可調(diào)參數(shù)的設(shè)置，將聚類半徑確定在一個(gè)初始范圍內(nèi)，由后期實(shí)驗(yàn)確定可調(diào)參數(shù)取值；引入最小距離原則確定樣本對(duì)象歸屬

4、；(2)引入信息熵理論，計(jì)算不同聚類數(shù)目時(shí)信息熵值，選擇信息熵最小的值對(duì)應(yīng)的聚類數(shù)目作為增量聚類的最終聚類數(shù)目；(3)提出一種解決混合屬性冗余問題的方法，分別利用相關(guān)系數(shù)ρ和互信息方法來計(jì)算特征之間的相關(guān)度，找出相關(guān)度大的特征(即冗余特征)，將之刪除。在此基礎(chǔ)上，提出了一種基于增量聚類和Relieff的特征選擇方法--ICB-ReliefF。
　　 在選擇出的UCI數(shù)據(jù)集上，將本文提出的ICB-ReliefF方法與已有方法進(jìn)行對(duì)