改進的LMS-KNN近鄰分類方法研究.pdf

1、近鄰分類算法作為經(jīng)典的機器學習算法之一，因其無需估計參數(shù)、易于實現(xiàn)、適合多分類問題的特點，近年來在廣告、聊天機器人、網(wǎng)絡安全、醫(yī)療保健、營銷策劃等領域得到了廣泛應用。其中，基于局部均值與類均值的近鄰分類算法（Nearest neighbor classification based on local mean and class mean,LMS-KNN）是針對K近鄰分類（K-nearest neighbor classificatio

2、n）對離群點不敏感，沒有利用樣本全局信息等問題的一種改進算法，改進后的算法雖然在分類精度和分類效率得到一定的提高，但是該算法還存在一些弊端。數(shù)據(jù)的不平衡性會影響 LMS-KNN的分類精度，同時該算法涉及到很多參數(shù)的設置，如近鄰值K的選取、權值的確定、距離度量方式的選取等等。因此，為了進一步改進 LMS-KNN算法的分類精度，本文進行了以下的研究工作：
　　1）總結(jié)分析了幾種常用的近鄰分類方法和局部均值與類均值的近鄰分類算法，對比了

3、它們各自的算法原理和優(yōu)缺點，并簡單介紹了文中所用到的幾種優(yōu)化算法。
　　2）針對不平衡數(shù)據(jù)對LMS-KNN分類精度的影響，運用迭代近鄰過采樣的算法對數(shù)據(jù)進行預處理，并把處理后的近似平衡數(shù)據(jù)集，用半監(jiān)督的局部均值與類均值進行分類。
　　3）采用交叉驗證與傳統(tǒng)迭代算法確定LMS-KNN分類算法參數(shù)，本文先將該分類算法交叉驗證誤差模型化，再把類均值向量的權重基于客觀決策信息確定為數(shù)學公式，最終運用步長優(yōu)化的統(tǒng)一迭代法來對加權權重進

4、行選取，在平衡主客觀決策規(guī)則的情況下改進傳統(tǒng)算法的分類精度和分類效率。
　　4）為了優(yōu)化LMS-KNN分類算法參數(shù)的確定，利用遺傳算法（Genetic Algorithm）可以在不依賴問題具體領域的情況下求解非線性、多目標等復雜優(yōu)化問題，提出了一種基于遺傳算法的局部均值和類均值最近鄰分類算法，該方法選取類均值的權重為初始種群，以分類誤差為評價函數(shù)，通過遺傳迭代選取最佳的類均值特征權重，與傳統(tǒng)的KNN、LM-KNN（A local