結(jié)構(gòu)驅(qū)動(dòng)的單類分類器設(shè)計(jì)及拓展研究.pdf

1、分類器設(shè)計(jì)中的一個(gè)根本問(wèn)題是如何提高其泛化能力，即根據(jù)從已有樣本中獲取的知識(shí)對(duì)未知樣本進(jìn)行判別的能力。因此，盡可能從樣本中獲取足夠多的先驗(yàn)知識(shí)是提高泛化能力的重要途徑之一。在單類分類中，由于異常樣本缺失使數(shù)據(jù)信息大為減少，從而使分類器設(shè)計(jì)更為困難，因此盡力挖掘僅有的一類目標(biāo)數(shù)據(jù)中的先驗(yàn)知識(shí)尤為重要。本文圍繞著單類分類器設(shè)計(jì)，并針對(duì)數(shù)據(jù)局部密度信息、結(jié)構(gòu)信息、簇信息以及少量異常數(shù)據(jù)信息等先驗(yàn)知識(shí)的挖掘和利用進(jìn)行了較為深入的研究，所取得的主

2、要成果如下：
　　 (1)以密度估計(jì)和支持域方法為主線綜述了單類分類器的主要研究方法，并提出了一種兩者結(jié)合的混合模型。從密度估計(jì)、支持域的角度重新梳理了單類分類器的主要算法，并針對(duì)作為研究熱點(diǎn)的支持域方法，在洞察出各算法聯(lián)系的基礎(chǔ)上深入分析了超平面和超球模型的主要改進(jìn)/變形模型；通過(guò)在支持域方法中嵌入局部密度，提出了適用于非對(duì)稱數(shù)據(jù)分布的混合模型——局部密度嵌入的單類支持向量機(jī)線性規(guī)劃算法。
　　 (2)提出了結(jié)構(gòu)驅(qū)動(dòng)學(xué)

3、習(xí)策略及相應(yīng)單類模型——結(jié)構(gòu)單類支持向量機(jī)(SOCSVM)，并推導(dǎo)出對(duì)應(yīng)的錯(cuò)分誤差界。針對(duì)現(xiàn)有超平面單類分類器只注重局部或全局學(xué)習(xí)之不足，提出了全局與局部學(xué)習(xí)兼?zhèn)涞慕Y(jié)構(gòu)驅(qū)動(dòng)學(xué)習(xí)策略，并以單類支持向量機(jī)為原型，通過(guò)嵌入數(shù)據(jù)結(jié)構(gòu)分布信息設(shè)計(jì)出相應(yīng)模型——結(jié)構(gòu)單類支持向量機(jī)。作為本文后續(xù)工作的研究基礎(chǔ)，理論證明了其最優(yōu)解具有唯一性和魯棒性，并推導(dǎo)出相應(yīng)的錯(cuò)分誤差界。人工和UCI數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明：考慮了數(shù)據(jù)分布趨勢(shì)的SOCSVM具有更強(qiáng)的數(shù)

4、據(jù)描述能力，從而驗(yàn)證了結(jié)構(gòu)驅(qū)動(dòng)學(xué)習(xí)策略的有效性；
　　 (3)發(fā)展出了適用于單類多簇?cái)?shù)據(jù)分布的結(jié)構(gòu)驅(qū)動(dòng)模型——結(jié)構(gòu)大間隔單類分類器(SLMOCC)?；跀?shù)據(jù)分布的結(jié)構(gòu)驅(qū)動(dòng)學(xué)習(xí)使多簇目標(biāo)數(shù)據(jù)的處理不同于單簇?cái)?shù)據(jù)，并因此衍生出相應(yīng)的分類器——結(jié)構(gòu)大間隔單類分類器(SLMOCC)。通過(guò)分別約束各簇?cái)?shù)據(jù)到最優(yōu)超平面的馬氏距離，SLMOCC最大程度地利用了數(shù)據(jù)的結(jié)構(gòu)信息并因此具有了更精細(xì)的數(shù)據(jù)描述。為捕捉數(shù)據(jù)的多簇分布，采用了可自動(dòng)確定聚

5、類數(shù)目的凝聚型層次聚類算法。人工和UCI數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明SLMOCC的性能有顯著提高。
　　 (4)構(gòu)建了單類和兩類問(wèn)題以及數(shù)據(jù)不平衡問(wèn)題的統(tǒng)一框架。通過(guò)在SOCSVM最小化正半空間的同時(shí)最大化正負(fù)類間隔或?qū)⒔Y(jié)構(gòu)驅(qū)動(dòng)學(xué)習(xí)策略作用于v-SVM算法并引入超平面閾值，發(fā)展出了兩等價(jià)模型并統(tǒng)稱為偏結(jié)構(gòu)數(shù)據(jù)描述與判別機(jī)(BSD3M)框架，放寬了經(jīng)典SVM中兩類支持向量平衡的限制，并因此能夠根據(jù)需要控制超平面的位置。通過(guò)合理設(shè)置目標(biāo)函數(shù)

6、及判別函數(shù)中的相應(yīng)參數(shù)，BSD3M不僅可用于含極少量異常的單類問(wèn)題以提高數(shù)據(jù)描述能力，同時(shí)也可推廣于正負(fù)類數(shù)據(jù)大致平衡的兩類問(wèn)題及少量數(shù)據(jù)更為重要的數(shù)據(jù)不平衡問(wèn)題。部分UCI數(shù)據(jù)集上含5％異常數(shù)據(jù)的實(shí)驗(yàn)結(jié)果表明：充分利用負(fù)類信息的BSD3M較之單類算法和SVM算法更為準(zhǔn)確地描述了目標(biāo)數(shù)據(jù)區(qū)域。
　　 (5)推廣出了一系列與上述各模型學(xué)習(xí)能力相當(dāng)?shù)木€性規(guī)劃快速算法以提高計(jì)算效率。通過(guò)最小化目標(biāo)數(shù)據(jù)到超平面的函數(shù)距離，推廣出SOCS