面向不平衡數(shù)據(jù)分類問題的核邏輯回歸算法的設計與實現(xiàn).pdf

1、分類問題是一個常見的機器學習任務，廣泛存在于多個領域，例如疾病診斷、石油勘探、信用評分等等。其中由于數(shù)據(jù)在類間分布不平衡給分類帶來的困難日益引起注意。傳統(tǒng)分類模型和分類結果評估標準在不平衡數(shù)據(jù)分類問題上的效果往往差強人意，提高不平衡數(shù)據(jù)分類效果的研究目標受到廣泛重視。不平衡數(shù)據(jù)分類問題與傳統(tǒng)分類問題的一個重要區(qū)別在于，傳統(tǒng)的分類結果評價標準如精度并不能很好地體現(xiàn)模型在不平衡數(shù)據(jù)上的分類效果。故在評估不平衡數(shù)據(jù)分類時，通常引入分類結果的混

2、淆矩陣，并根據(jù)混淆矩陣計算得到若干評價標準，包括敏感度、特異度、陽性預測值、陰性預測值和F-measure、受試者工作特征曲線ROC curve等。
　　利用核函數(shù)方法將邏輯回歸分類模型進行擴展可得到核邏輯回歸分類模型KLR。得益于邏輯回歸模型和核函數(shù)方法各自的特點，核邏輯回歸分類模型不僅具有可提供預測概率的優(yōu)點，同時可以使用高維度空間中的線性超平面將原始輸入空間線性不可分的數(shù)據(jù)進行分類。核邏輯回歸分類模型的應用要點除了選擇合適的

3、目標函數(shù)以對模型參數(shù)進行優(yōu)化，同時包括如何選擇模型超參數(shù)，具體為如何選擇核函數(shù)參數(shù)、正則化項系數(shù)以及判別函數(shù)的偏置項。
　　對于不平衡數(shù)據(jù)分類問題，適當選擇和調(diào)整超參數(shù)對核邏輯回歸模型的分類效果具有重要意義。本研究在傳統(tǒng)核邏輯回歸函數(shù)的基礎上，結合不平衡數(shù)據(jù)分類結果評價標準的選擇，以基于混淆矩陣的評價標準綜合值作為評估標準，利用網(wǎng)格搜索和交叉驗證實現(xiàn)核邏輯回歸分類模型的超參數(shù)選擇，最終形成一個針對不平衡數(shù)據(jù)分類問題的核邏輯回歸模型

4、。研究的實驗部分利用若干不平衡比例不同的數(shù)據(jù)集作為基準數(shù)據(jù)集，以支持向量機SVM作為對照分類器，驗證核邏輯回歸分類模型在不平衡數(shù)據(jù)上的分類效果。在實驗的第一階段，采用敏感度、特異度、陽性預測值、陰性預測值四個評價標準的調(diào)和平均數(shù)作為綜合評估值參與核邏輯回歸分類模型超參數(shù)選擇過程。第二階段重點考察敏感度和特異度，以二者的調(diào)和平均數(shù)作為評估值進行超參數(shù)選擇。實驗結果表明，在大多數(shù)情況下K L R對基準數(shù)據(jù)集的分類效果優(yōu)于SVM。由本研究可知