基于內(nèi)容的垃圾郵件檢測特征降維算法研究.pdf

1、當(dāng)今社會，電子郵件已經(jīng)成為人們?nèi)粘Ｉ钪型ㄐ藕徒涣鞯闹匾绞街?，但是垃圾郵件也伴隨著互聯(lián)網(wǎng)信息技術(shù)的發(fā)展而嚴(yán)重泛濫，帶來諸多危害?；趦?nèi)容的垃圾郵件檢測是目前最主流的反垃圾郵件技術(shù)之一，在反垃圾郵件領(lǐng)域得到了廣泛應(yīng)用。
　　 特征降維是基于內(nèi)容的垃圾郵件檢測中的一項關(guān)鍵技術(shù)。由于通常使用向量空間模型來表示郵件文本，特征向量空間通常呈現(xiàn)高維特性，引發(fā)“維數(shù)災(zāi)難”。因此，必須對原始高維特征空間進(jìn)行降維處理。文本特征降維方法一般分為

2、兩類:特征提取和特征選擇。特征選擇算法因其實(shí)現(xiàn)簡單，計算復(fù)雜度小，性能比較好等優(yōu)點(diǎn)，被廣泛應(yīng)用在基于內(nèi)容的垃圾郵件檢測中。
　　 常用的特征選擇算法如信息增益(IG)，卡方統(tǒng)計(CHI)等，均基于特征項之間相互獨(dú)立的假設(shè)，只考慮了特征項與目標(biāo)類別之間的關(guān)聯(lián)度來構(gòu)造評價函數(shù)，而忽略了實(shí)際情況下，不同特征項之間存在不同程度的關(guān)聯(lián)，使得特征子集中存在了大量的冗余，因而分類性能不夠理想。
　　 文本采用互信息量(MI)來衡量特征

3、項之間的冗余程度，提出了一種新型的特征選擇算法OMFS（OCFS-mRMR Feature Seleetion）。實(shí)驗(yàn)證明，OMFS算法能夠保持很高的計算效率，有效去除特征子集中的冗余，使垃圾郵件的分類性能得到很大的改善。
　　 本文的主要工作和創(chuàng)新點(diǎn)主要有以下幾點(diǎn):
　　 (1)針對垃圾郵件特征空間冗余問題，從文本分類領(lǐng)域引入mRMR特征選擇算法并對其進(jìn)行改進(jìn)，提出了一種新型的特征選擇算法——OMFS。
　　

4、(2)基于matlab平臺，WEKA Java API和Eclipse開發(fā)環(huán)境，通過程序設(shè)計，構(gòu)建了基于內(nèi)容的垃圾郵件檢測仿真實(shí)驗(yàn)系統(tǒng)。基于中英文五種不同的公共垃圾郵件語料庫和三種分類算法，設(shè)計并實(shí)現(xiàn)了一系列垃圾郵件檢測分類對比實(shí)驗(yàn)。
　　 (3)采用分類精準(zhǔn)度和CPU實(shí)時運(yùn)算時間作為評價指標(biāo)，并從有效性和計算效率兩個方面對實(shí)驗(yàn)結(jié)果進(jìn)行了科學(xué)、詳細(xì)的分析，總結(jié)了實(shí)驗(yàn)規(guī)律，驗(yàn)證了OMFS特征選擇算法能夠有效去除特征項之間的冗余同時