基于語義體與文本聚類的中文垃圾郵件過濾方法研究.pdf

1、隨著互聯(lián)網的迅猛發(fā)展，電子郵件已逐漸成為人們日常生活中不可缺少的通信方式之一。與此同時，垃圾郵件作為電子郵件的錯誤衍生品，也發(fā)展迅速。尤其是近幾年電子商務和移動互聯(lián)的迅猛發(fā)展，促使基于文本形式的企業(yè)郵件和手機郵件的增多。另外，中文的語言復雜度遠大于英文，導致對中文垃圾郵件的處理不能照搬外國的方法。
　　 目前，文本垃圾郵件過濾的主流方法仍然是基于內容的垃圾郵件過濾技術，但大多數方法都是一些基于關鍵字的與語義無關的垃圾郵件過濾方法

2、，如：貝葉斯方法、基于案例的方法和文本分類方法等，此類方法對垃圾郵件內容所表達的思想缺乏精準的描述?，F(xiàn)在新型的文本垃圾郵件利用同義詞、近義詞等手段，偽裝成正常郵件，使傳統(tǒng)的方法難以把垃圾郵件和正常郵件進行區(qū)分。因此，論文在語義相似度的基礎上，利用《知網》在語義分析方面的優(yōu)勢，提出一種基于語義體和文本聚類算法相結合的新型中文文本垃圾郵件過濾方法。本文的研究主要有以下兩方面：
　　 1.從具有同義詞或近義詞的新型中文文本垃圾郵件中提

3、取特征。本文對郵件文本進行分詞、去除停用詞后，對余下的詞語集合進行詞義消歧，得到每個詞語在郵件中的唯一詞義，便于郵件特征的提??；將詞語集合中的每個詞語作為一條詞匯鏈，并將詞義相同或相似的詞匯鏈合并為一條詞匯鏈，利用TFIDF方法從每條詞匯鏈中選取唯一的詞語作為該詞匯鏈代表；最后，提取規(guī)定個數的詞語作為該郵件的特征，即語義體。經仿真實驗表明：該方法提取的郵件特征更加準確。
　　 2.針對得到的垃圾郵件的語義體，本文采用基于語義距離

4、的文本聚類算法進行垃圾郵件過濾。該方法利用基于《知網》的文本相似度對郵件集合進行第一次文本聚類，為了避免郵件輸入順序對聚類結果的影響，對經過整理的第一次聚類結果進行第二次文本聚類，使得最終得到的聚類結果更加準確，利用得到的聚類結果完成對垃圾郵件的過濾。
　　 通過實驗驗證，本文方法對具有同義詞或近義詞的新型垃圾郵件有很好的過濾效果：論文所提方法與傳統(tǒng)的郵件過濾方法相比，在對郵件內容的判斷中更具客觀性，對內容表意不明的垃圾郵件，其