一類基于貝葉斯算法的反垃圾郵件系統(tǒng)的研究與實現(xiàn).pdf

1、隨著Internet的發(fā)展和普及，電子郵件也得到了廣泛的應(yīng)用。電子郵件在給人們帶來方便的同時也產(chǎn)生了一個新的問題，即大量垃圾郵件的出現(xiàn)。垃圾郵件不僅要消耗大量的網(wǎng)絡(luò)資源，其傳播的不良信息也會給社會造成很大的危害，因此研究垃圾郵件過濾具有重要意義。 本文首先分析了電子郵件及其過濾技術(shù)。接著，本文對Linux內(nèi)核相關(guān)技術(shù)做了分析和探討，其中包括Linux數(shù)據(jù)包截獲技術(shù)、Linux的網(wǎng)絡(luò)數(shù)據(jù)包結(jié)構(gòu)及其操作函數(shù)、內(nèi)核空間和用戶空間的概念

2、及其內(nèi)核編程的基本方法。在此基礎(chǔ)上，本文以Linux為平臺，提出了郵件基于文本內(nèi)容分析過濾系統(tǒng)模型，這是一種基于內(nèi)容的反垃圾郵件技術(shù)，主要理論依據(jù)是貝葉斯文本分類算法，在分析了貝葉斯算法在垃圾郵件過濾技術(shù)中應(yīng)用的優(yōu)點和不足后，給出了基于最小風(fēng)險法的改進Bayes算法。將反映垃圾郵件的特征綜合在一起統(tǒng)稱為“屬性”，用這些“屬性”構(gòu)成表示郵件特征的向量空間模型中的特征向量，避免了單純基于IP、信頭、信封過濾的規(guī)則性太強的缺點，降低將正常郵件

3、判斷為垃圾郵件的風(fēng)險，可以改善系統(tǒng)的判斷能力、進一步保證正常郵件到達的穩(wěn)定性和實時性。 為了提高系統(tǒng)性能，本文研究了垃圾郵件過濾系統(tǒng)所需的各種技術(shù)，包括Linux內(nèi)核Iptables的規(guī)則擴展技術(shù)、自動文本分類技術(shù)等。通過對各種文本分類技術(shù)進行比較分析，本系統(tǒng)采用向左增字最小匹配與向右減字最大匹配算法相結(jié)合進行分詞，并采用互信息方法消除歧義，提高分詞精度；針對現(xiàn)有的詞典機制，并降低空間復(fù)雜度和創(chuàng)建維護的難度；分析了兩種對樸素Ba