中文郵件過濾系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、電子郵件已經(jīng)成為人們?nèi)粘Ｉ钪型ㄐ?、交流的重要手段之?然而,大量出現(xiàn)的垃圾郵件,給用戶造成了時(shí)間和資源上的浪費(fèi),同時(shí)也極大地消耗了網(wǎng)絡(luò)傳輸資源以及郵件服務(wù)器的存儲空間,并對網(wǎng)絡(luò)安全構(gòu)成威脅.本文針對這一問題展開研究. 目前,常用的包括黑名單與白名單技術(shù)、基于關(guān)鍵詞搜索以及設(shè)定過濾規(guī)則等方法.在實(shí)際使用中已逐漸不能滿足過濾需求,基于內(nèi)容分析的文本分類技術(shù)正逐步進(jìn)入郵件過濾技術(shù)當(dāng)中,并成為當(dāng)前研究熱點(diǎn).其中,基于內(nèi)容分析的郵件過濾

2、方法中的典型方法是基于貝葉斯模型.本文結(jié)合文本分類技術(shù)以及貝葉斯理論,提出了基于粗集屬性約簡的貝葉斯中文郵件過濾技術(shù),它通過基于粗集屬性約簡的特征提取,并在貝葉斯分類方法中通過計(jì)算屬性間的依賴性來提高樸素貝葉斯算法的適用性.同時(shí),本系統(tǒng)還結(jié)合了郵件的一些自身特性來提高過濾效果.并圍繞這種針對中文郵件的貝葉斯過濾技術(shù)來敘述相關(guān)的關(guān)鍵技術(shù)與方法,其中主要內(nèi)容有: (1)計(jì)算郵件的MD5值,系統(tǒng)通過計(jì)算每封郵件的MD5特征值,來統(tǒng)計(jì)內(nèi)

3、容相同郵件出現(xiàn)的次數(shù),當(dāng)次數(shù)超過一定閾值B時(shí),認(rèn)為這些為垃圾郵件; (2)根據(jù)N-最短路徑方法對中文郵件進(jìn)行中文分詞處理,通過改進(jìn)的向量空間模型方法在計(jì)算機(jī)中表示文本; (3)在特征項(xiàng)選取方面,提出一種基于粗集屬性重要度和屬性依賴度的約簡算法,利用基于粗集的屬性約簡方法,在不損失原有信息的前提下,綜合考慮條件屬性和決策屬性間的依賴性以及條件屬性間的依賴性對約簡的影響,獲取屬性的最優(yōu)約簡; (4)在貝葉斯分類技術(shù)中