加權(quán)K-NN算法及其應用.pdf

1、K-NN(K-NearestNeighbor)分類算法的結(jié)果依賴于距離度量的選取。傳統(tǒng)的K-近鄰算法選擇的相似性度量通常是歐幾里德距離的倒數(shù)，這種距離通常涉及所有的特征。在距離公式中引入一些特征權(quán)參數(shù)后，其分類結(jié)果將依賴于這些權(quán)值，從而可以通過調(diào)整這些權(quán)值來優(yōu)化分類效果。本文提出了一種學習權(quán)值算法以改進分類準確率。從數(shù)學意義上講，這種權(quán)值學習相當于歐氏空間中對一組點進行了一個線性變換。同時，不同近鄰樣本本身的權(quán)重影響不同，則直接改變測試

2、樣本的最終類別。我們不僅對每個屬性學習權(quán)值，而且可以對每一個測試樣本點的近鄰基于它們到測試點的距離進行加權(quán)，使得那些距離較近的近鄰獲得的權(quán)值較高，從而提高了K-NN算法分類準確性。 針對K-近鄰算法中K值的學習，本文總結(jié)了一種聚類有效性函數(shù)，數(shù)值實驗證實了其有效性，旨在指導應用于K-近鄰分類中；然后還將“擴張能力”的概念引入K-近鄰算法，根據(jù)訓練集例子不同的覆蓋能力，刪除冗余樣本，得到數(shù)量較小同時代表類別情況又比較完全的新的訓練