基于信息論的特征選擇和分類算法研究.pdf

1、西南農(nóng)業(yè)大學(xué)碩士學(xué)位論文基于信息論的特征選擇和分類算法研究姓名：張隆申請學(xué)位級別：碩士專業(yè)：農(nóng)業(yè)機械化工程指導(dǎo)教師：余建橋20050501析和判定冗余特征必然會使特征選擇算法的效率降低，因而這種方法是不適合商維度的特征選擇的在馬爾可夫毯過濾法中，我們通過抽取該方法的基本特性，分析該方法的主要組成部分并結(jié)合關(guān)聯(lián)量度RMI，推論并構(gòu)造了一個近似的馬爾可夫毯過濾法，并以此方法在相關(guān)特征集中進(jìn)行冗余特征分析。在近似的馬爾可夫毯過濾法中，特征與類

2、別之聞的關(guān)聯(lián)稱為c關(guān)聯(lián)，兩個特征之問的關(guān)聯(lián)稱為F關(guān)聯(lián)，沒有任何的近似的馬爾可夫毯的特征稱為優(yōu)越的特征。近似的馬爾可夫毯的基本工作原理是：如果特征x的c關(guān)聯(lián)大于特征Y的c一關(guān)聯(lián)且特征之間的F關(guān)聯(lián)大于特征Y的c關(guān)聯(lián)，則特征Y是冗余的。由近似的馬爾可夫毯的基本工作原理可知其基本性質(zhì)：具有晟大c關(guān)聯(lián)值的特征不存在近似的馬爾可夫毯，該特征是優(yōu)越的特征。利用該性質(zhì)，在對相關(guān)特征的C。關(guān)聯(lián)值進(jìn)行排序后，可以從具有最大C關(guān)聯(lián)值的特征開始，逐步消除所有的

3、冗余特征，而保留優(yōu)越的特征，最后形成的特征集由所有優(yōu)越的特征組成。利用近似的馬爾可夫毯過濾法進(jìn)行相關(guān)性和冗余性分析，就是通過選擇所有的優(yōu)越特征并且除去剩余特征的方法。它使用c關(guān)聯(lián)和F關(guān)聯(lián)來確定特征冗余，而且結(jié)合前向序列選擇和除去冗余特征因此，它不但圍繞所有的特征對進(jìn)行F關(guān)聯(lián)分析。而且比純粹的前向序列選擇或后向消除法取得更高的效率。本文第5章提出了一個建立在相關(guān)特征集上的數(shù)據(jù)分類方法——MⅡN算法。該算法以信息論量度為基本工具通過條件互信

4、息評估各個相關(guān)特征在分類過程中的等級次序，產(chǎn)生簡潔的分類規(guī)則，并評估分類規(guī)則在分類過程中的重要程度?；バ畔⒕W(wǎng)絡(luò)(～lutual—InformationNetwork(MIN))是一種信息論方法，在拓樸結(jié)構(gòu)上類似于神經(jīng)網(wǎng)絡(luò)，在預(yù)測方式上類似于決策樹。建立互信息網(wǎng)絡(luò)的原理是：在一個已知結(jié)點的條件下，如果一個特征與類別特征之間的條件互信息值最大，則該特征是此結(jié)點下最重要的特征，并由此分裂產(chǎn)生新的結(jié)點。在互信息網(wǎng)絡(luò)構(gòu)建過程中，對于任何給定的結(jié)點

5、Z，找出不屬于結(jié)點z分支的所有特征，并計算這些特征與類別之問的條件互信息取得使條件互信息值最大的特征，則該特征是在結(jié)點z的條件下對分類最重要的特征，將該特征按其特征值進(jìn)行結(jié)點分裂。如果沒有特征使得條件互信息顯著增加，則該結(jié)點為最終結(jié)點，將該結(jié)點與類別結(jié)點進(jìn)行連接，并計算結(jié)點與類別結(jié)點之間的權(quán)重，形成一條分類規(guī)則。通過條件互信息建立的互信息網(wǎng)絡(luò)分類模型具有如下優(yōu)點：在分類預(yù)測準(zhǔn)確率上比其它分類學(xué)習(xí)算法有所提高；由它產(chǎn)生的規(guī)則形式簡單；模型