垃圾郵件過濾系統(tǒng)的評估系統(tǒng)的研究與實現(xiàn).pdf

1、垃圾郵件的危害越來越大，已經(jīng)嚴重危害了人民的生活和工作。針對垃圾郵件的防范研究是當前的一個研究熱點，已經(jīng)出現(xiàn)了許多優(yōu)秀的垃圾郵件過濾技術(shù)和產(chǎn)品。然而，面對眾多的垃圾郵件過濾產(chǎn)品，如何選擇一個過濾效果好而又符合用戶需求的過濾系統(tǒng)卻依然沒有一個好的依據(jù)。為此，本文以華東(北)地區(qū)網(wǎng)絡中心為實驗環(huán)境，以客觀、公正為立足點，對影響垃圾郵件過濾系統(tǒng)過濾效果的評估指標、綜合評估方法以及標準郵件集進行了研究，并依據(jù)研究的結(jié)果，設計和實現(xiàn)一個針對垃圾郵

2、件過濾系統(tǒng)過濾能力的評估系統(tǒng)，為用戶提供一個可以信賴的選擇依據(jù)。 論文首先從現(xiàn)有的評估指標出發(fā)，參考相關(guān)研究領域的成果，總結(jié)、歸納和提出了四個基本指標，十二個合成指標和兩個基于ROC曲線的指標的定義、計算方法及使用范圍。在指標的計算中，論文首次將誤報代價之比的概念應用到其中，提出“歸一化”復合矩陣，從而屏蔽了垃圾郵件與正常郵件在重要性方面存在的巨大差異。 為給用戶提供綜合的選擇依據(jù)，論文在第三章介紹了采用模糊綜合評估方法

3、、因子分析法和基于ROC曲線的ROCCH方法來綜合評估多個過濾系統(tǒng)的原理和具體實現(xiàn)。前兩種方法以當前的評估指標值為依據(jù)，判定當前配置下各過濾系統(tǒng)過濾能力的優(yōu)劣次序。最后一種方法以ROC曲線為出發(fā)點，判定的是不同閥值下，過濾系統(tǒng)潛在的優(yōu)劣順序。 論文在第四章討論了評測訓練方法和標準郵件集對評估結(jié)果的影響。實驗表明，評測訓練方法和標準郵件集中的總郵件數(shù)量、垃圾郵件所占比例、訓練郵件集所占比例、誤報代價比以及郵件的順序都將對評估的結(jié)果

4、產(chǎn)生較大的影響。為此，鑒于現(xiàn)有公開的標準郵件集存在較多的缺陷以及為防止過濾系統(tǒng)刻意的適應靜態(tài)的郵件數(shù)據(jù)，論文在第五章介紹了模擬標準郵件集生成系統(tǒng)的設計與實現(xiàn)。該系統(tǒng)能夠根據(jù)用戶的參數(shù)配置，動態(tài)生成能夠用于評估的模擬標準郵件集。 依據(jù)上述評估指標和綜合評估方法的研究成果，第五章還介紹了評估系統(tǒng)的設計與實現(xiàn)。依據(jù)該評估系統(tǒng)，第六章介紹了它采用生成的模擬郵件集和另一標準郵件集對六個垃圾郵件過濾系統(tǒng)的評估結(jié)果，并對評估結(jié)果進行了分析。