基于SVM的中文電子郵件過濾方法研究.pdf

1、隨著互聯(lián)網(wǎng)的普及，電子郵件以其快捷、方便的優(yōu)點逐漸發(fā)展成為人們工作和生活的重要通信工具之一。然而，隨之而來的垃圾郵件問題也日益嚴峻，它不僅傳播有害信息，而且耗費大量的公共資源，侵害電子郵件用戶和企業(yè)的合法權益。盡管目前已經(jīng)存在許多的垃圾郵件過濾方法，但是垃圾郵件不降反升的局面表明，已有的垃圾郵件過濾方法并未取得理想的過濾效果。所以，反垃圾郵件問題已成為全球性的具有現(xiàn)實意義的問題。
　　目前的垃圾郵件過濾方法逐漸傾向于采用基于內(nèi)容的

2、機器學習判別方法，其中基于規(guī)則和基于概率統(tǒng)計的方法是其中的典型代表，這些方法實現(xiàn)簡單、過濾效果好，但由于對基于內(nèi)容的垃圾郵件過濾器影響較大的因素主要是郵件的特征表示和分類器的分類速度，這些方法都無法協(xié)調(diào)過濾速度和精度的關系。
　　支持向量機是近年來得到普遍關注的一類學習機器，它以統(tǒng)計學習理論(Statistical Learning Theory,SLT)為基礎，廣泛應用于語音處理、圖形檢索、文本分類等領域，SVM不但分類速度快、

3、精度高，而且可以有效避免“維數(shù)災難”，是一種公認的高效的機器學習方法。本文研究了基于內(nèi)容的SVM中文電子郵件過濾方法，主要的工作包括以下幾個內(nèi)容:
　　(1)在大規(guī)模真實實驗數(shù)據(jù)的基礎上，建立了基于支持向量機的垃圾郵件過濾模型。該模型使用動態(tài)的方法構(gòu)造特征詞典，既能有效地不斷充實垃圾郵件特征詞典，又避免了由于詞典過大或過小帶來的一系列問題，較好地表示了郵件。
　　(2)使用了向量空間模型對電子郵件進行向量化處理。在向量化過程

4、中，針對中文電子郵件的特點，本文使用正向和逆向最大匹配法相結(jié)合的方法對中文電子郵件進行分詞，另外，對特征項的選擇、特征詞權重的表示提出了改進方法。
　　(3)使用fisher線性判別法對支持向量機的郵件過濾模型進行優(yōu)化，并構(gòu)造了基于高斯核和多項式核的SVM優(yōu)化模型。
　　(4)在中國教育和科研網(wǎng)緊急響應組公布的中文電子郵件數(shù)據(jù)集上對本文提出的過濾模型進行驗證，并與貝葉斯、決策樹郵件過濾器進行比較，實驗結(jié)果表明本文的方法在各個