K-近鄰分類的改進(jìn)算法研究.pdf

1、K-近鄰算法作為一種理論上比較成熟且簡單有效的分類算法,已經(jīng)得到了廣泛的研究和應(yīng)用。但是K-近鄰算法易受噪聲影響且不能處理多模態(tài)分布的問題;另外傳統(tǒng)K-近鄰算法認(rèn)為每個(gè)屬性對(duì)分類的重要程度是一樣的,所以并未對(duì)屬性進(jìn)行約簡,且在距離函數(shù)中對(duì)每個(gè)屬性賦予了相同的權(quán)重,這樣得到的近鄰樣本是不準(zhǔn)確的,會(huì)干擾待分類樣本的類別判斷。
　　針對(duì)上述問題,本文首先提出了融合互近鄰和可信度的K-近鄰改進(jìn)算法(MKNNCF)。第一步,根據(jù)互近鄰的概念

2、刪除噪聲數(shù)據(jù),提高數(shù)據(jù)的質(zhì)量;然后,利用由近鄰誘導(dǎo)待分類樣本標(biāo)簽的可信度,避免待分類樣本近鄰中大類吃小類的概率。實(shí)驗(yàn)結(jié)果表明,本算法在分類精度上優(yōu)于或相當(dāng)于傳統(tǒng)的KNN及其他經(jīng)典的分類算法。
　　MKNNCF算法雖然一定程度上提高了K-近鄰分類算法的分類精度,但是并未考慮不同屬性對(duì)分類貢獻(xiàn)度的差異性。為了進(jìn)一步提高分類速度和分類的準(zhǔn)確率,提出了先對(duì)屬性約簡,之后再對(duì)屬性加權(quán)的改進(jìn)算法(MIMKNN)。首先,引入鄰域互信息用以度量條