基于內(nèi)容的垃圾郵件過濾方法研究.pdf

1、隨著計算機(jī)網(wǎng)絡(luò)與通訊技術(shù)的發(fā)展與廣泛應(yīng)用，電子郵件已經(jīng)成為必不可少的通訊方式。但是，電子郵件帶來的垃圾郵件問題日益嚴(yán)重，給人們的生活帶來了諸多不便，同時也給網(wǎng)絡(luò)安全帶來了極壞的影響。因此，解決好此類問題具有十分重要的現(xiàn)實意義。目前，反垃圾郵件工具逐漸傾向于引入基于內(nèi)容的機(jī)器學(xué)習(xí)判別方法。然而，在訓(xùn)練過濾器時，會遇到未帶類別標(biāo)注的樣本，如果采用傳統(tǒng)的機(jī)器學(xué)習(xí)方法會造成過濾器性能下降。為此，本文研究利用這些未帶類別標(biāo)注樣本，進(jìn)行垃圾郵件過濾

2、器訓(xùn)練。具體所做的工作和創(chuàng)新點如下： (1)研究針對郵件內(nèi)容的理想特征選擇方法。郵件中過高維數(shù)的文本內(nèi)容會影響最后的過濾效果。因此，引入特征選擇是很有必要的。為此，本文利用實驗驗證的方法，分別就文本分類中常見的幾種特征選擇方法對垃圾郵件樣本進(jìn)行了測試。結(jié)果表明，期望交叉熵方法和X2統(tǒng)計量方法對郵件分類最為有效，互信息和信息增益方法效果相比之下顯得遜色； (2)針對由于含有未帶類別標(biāo)記樣本，導(dǎo)致訓(xùn)練樣本質(zhì)量低劣的情況，提出

3、一種主動貝葉斯分類方法RANB(Naive Bayes Classifier Relying on ActiveLearning)，用以標(biāo)注這些訓(xùn)練樣本類別標(biāo)記，提高訓(xùn)練樣本質(zhì)量。此方法根據(jù)條件熵衡量未帶類別標(biāo)記樣本好壞，選擇出一定數(shù)量好的樣本，并融入減少分類誤差機(jī)制。同時，利用樸素貝葉斯方法簡單易行且分類效果比較好的特點構(gòu)造分類器以標(biāo)注未帶類別標(biāo)記樣本類別。實驗表明，此算法是可行的，尤其在未知類別標(biāo)注樣本較多時是十分有效的，比其他幾種