判別最小平方有序回歸研究及應(yīng)用.pdf

1、有序回歸是模式識(shí)別中特殊的有監(jiān)督學(xué)習(xí)，其問題來自于有序離散標(biāo)號(hào)結(jié)構(gòu)廣泛存在于現(xiàn)實(shí)生活之中。而傳統(tǒng)的有監(jiān)督學(xué)習(xí)因未利用有序信息，難以保證期望的性能。有序回歸旨在利用類間自然有序標(biāo)號(hào)劃分模式，不僅期望能獲得較高的分類精度，同時(shí)期望預(yù)測(cè)標(biāo)號(hào)盡可能接近真實(shí)標(biāo)號(hào)。近年來，有序回歸引起眾多研究者的極大興趣和廣泛關(guān)注，涌現(xiàn)出眾多經(jīng)典方法，并可大致分為三類。但據(jù)我們所知，最小平方回歸(LSR)尚未被改造并用于有序回歸場(chǎng)景。LSR作為一種典型回歸學(xué)習(xí)，因

2、其有堅(jiān)實(shí)的理論支撐而在模式識(shí)別領(lǐng)域具有廣泛應(yīng)用。其通過優(yōu)化訓(xùn)練樣本與標(biāo)號(hào)間的映射關(guān)系，從而最小化誤差平方和。但其未被有序改造的可能是因?yàn)橛行蛐畔㈦y以在LSR中被直接利用。
　　本文首先嘗試標(biāo)號(hào)的累積編碼以實(shí)現(xiàn)有序信息嵌入，發(fā)展出最小平方有序回歸(LSOR)算法。但注意到LOSR僅體現(xiàn)了有序性，而未體現(xiàn)出離散性，進(jìn)而通過聯(lián)合利用累積標(biāo)號(hào)及間隔擴(kuò)大技術(shù)，最終提出了一個(gè)新的判別最小平方有序回歸(DLSOR)。DLSOR在對(duì)回歸函數(shù)無需施

3、加約束的前提下，僅通過改造標(biāo)號(hào)即實(shí)現(xiàn)了有序信息的嵌入和類間間隔的擴(kuò)大，從而確保 DLSOR在與LSR具有相當(dāng)模型復(fù)雜度的同時(shí)，既保證了較高的分類精度，又獲得了較低的平均絕對(duì)誤差。在眾多數(shù)據(jù)集中的實(shí)驗(yàn)驗(yàn)證了該方法的優(yōu)越性。
　　進(jìn)一步考慮到現(xiàn)實(shí)中常遇到樣本數(shù)量有限的場(chǎng)景，致使所學(xué)算法的泛化性受到制約。由此通過借鑒邊際特征擾動(dòng)(MCF)思想，對(duì)有限訓(xùn)練樣本的輸入數(shù)據(jù)和類標(biāo)號(hào)分別進(jìn)行隨機(jī)和確定的擾動(dòng)，并結(jié)合 LSOR框架，發(fā)展出了雙重特