垃圾郵件過濾系統(tǒng)的改進(jìn)及樣本庫生成系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著對垃圾郵件過濾的各種技術(shù)和算法的不斷發(fā)展，大部分基于機(jī)器學(xué)習(xí)的文本分類算法在實際使用中取得了較好的效果，但由于采用了文本分類中的一些算法，大部分算法都要求在應(yīng)用前就需要用已分類好的郵件樣本對過濾系統(tǒng)進(jìn)行學(xué)習(xí)、訓(xùn)練，以達(dá)到過濾系統(tǒng)性能最優(yōu)化。郵件樣本特別是正常郵件樣本集的缺乏成為阻礙過濾技術(shù)發(fā)展的一個重要問題。同樣為了比較各種過濾算法的性能，需要在同一個基準(zhǔn)上的實驗結(jié)果才有可比性。缺乏郵件樣本集的基準(zhǔn)使得評價各種過濾系統(tǒng)的性能變得很難

2、實現(xiàn)。為此，本學(xué)位論文對樣本集構(gòu)建過程中的關(guān)鍵技術(shù)進(jìn)行了研究，并以CERNET華東(北)地區(qū)網(wǎng)絡(luò)中心的郵件服務(wù)器為實驗環(huán)境，設(shè)計和實現(xiàn)了一樣本庫生成系統(tǒng)。在此基礎(chǔ)上，根據(jù)構(gòu)建樣本庫過程中對收集的垃圾郵件特征的研究，在不改變原有綜合郵件過濾系統(tǒng)框架的前提下使用BNR算法對網(wǎng)絡(luò)中心現(xiàn)有的郵件過濾系統(tǒng)進(jìn)行了相應(yīng)的改進(jìn)，以提高系統(tǒng)的過濾性能。 論文在研究目前郵件樣本集現(xiàn)狀的基礎(chǔ)上，根據(jù)郵件過濾算法的需求，設(shè)計了構(gòu)建一個基于真實郵件環(huán)境，

3、能夠生成包含標(biāo)準(zhǔn)郵件分類的中英文郵件樣本集生成系統(tǒng)。 首先，論文從技術(shù)和非技術(shù)兩個方面提出了構(gòu)建樣本集中存在的問題，并通過對現(xiàn)有構(gòu)造樣本集的方法的研究分析得出目前過濾系統(tǒng)所需的是能夠模擬真實郵件環(huán)境的包含標(biāo)準(zhǔn)分類的郵件樣本集。在此基礎(chǔ)上，根據(jù)實際郵件收集環(huán)境特點(diǎn)，論文著重研究了構(gòu)建樣本庫生成系統(tǒng)的關(guān)鍵技術(shù)，主要包括用戶評判郵件技術(shù)、用戶評分和正常郵件隱私保護(hù)等方面，提出采用識別重復(fù)郵件、模糊綜合評判、多層信息抽取替換并加密存儲等

4、方法并具體實現(xiàn)。 其次，論文在對關(guān)鍵問題研究的基礎(chǔ)上，給出了樣本庫生成系統(tǒng)的總體結(jié)構(gòu)設(shè)計，以及各個子系統(tǒng)的實現(xiàn)機(jī)制和功能結(jié)構(gòu)，實現(xiàn)了一個可基于真實郵件環(huán)境，結(jié)合用戶人工評判的生成標(biāo)準(zhǔn)郵件樣本集的生成系統(tǒng)，并將該系統(tǒng)在CERNET華東(北)地區(qū)網(wǎng)絡(luò)中心的郵件服務(wù)器環(huán)境下投入使用。并且從系統(tǒng)生成的樣本集各項數(shù)據(jù)對系統(tǒng)的性能進(jìn)行了實驗和分析，結(jié)果表明，該系統(tǒng)生成的郵件樣本集滿足了郵件來自真實環(huán)境且郵件樣本標(biāo)準(zhǔn)分類的需求，驗證了系統(tǒng)的有