基于貝葉斯的中文垃圾郵件過濾系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、電子郵件已經(jīng)成為人們?nèi)粘Ｉ钪型ㄐ?、交流的重要手段之一，但垃圾郵件問題也日益嚴峻。中國反垃圾郵件起步較晚，垃圾郵件在國內(nèi)的情況十分嚴重，中國如今成為了世界垃圾郵件來源的第二大國，反垃圾郵件迫在眉睫。常用的反垃圾郵件技術(shù)一般包括白名單與黑名單技術(shù)、規(guī)則過濾、基于關(guān)鍵詞匹配的內(nèi)容掃描、文本分類技術(shù)等，其中文本分類技術(shù)得到了最為廣泛的應(yīng)用。垃圾郵件過濾中常用的文本分類方法有貝葉斯、k-近鄰、決策樹、boosting等，其中貝葉斯分類算法由于其

2、設(shè)計實現(xiàn)簡單、準確率高得到了更廣泛的應(yīng)用。 在將貝葉斯分類算法應(yīng)用于中文郵件時，以下幾個問題影響著系統(tǒng)的性能：由于中文與英文在書寫方式、表達方式上有著明顯的不同。在書寫方式上，英文詞與詞之間用空格或是標點符號相隔，而中文字與字之間無明顯的分隔符。所以首先要進行中文分詞的操作，并且分詞的效果能夠顯著的影響到分類的效果。在表達方式上，中英文也不相同，需要針對中文郵件進行特征選擇操作。同時出現(xiàn)了大量利用中文的特點，特殊構(gòu)造的含有“不良

3、信息”的垃圾郵件，該類郵件的“不良信息”具有易理解、難識別的特點。 本文提出了一種基于貝葉斯的中文垃圾郵件過濾系統(tǒng)，它將貝葉斯算法應(yīng)用與中文郵件的過濾。為了提高系統(tǒng)的性能，本文研究了中文郵件過濾需要的各種技術(shù)，包括中文分詞、特征選擇、不良信息識別等。通過分析各種中文分詞算法、中文分詞詞典機制的優(yōu)缺點，本文設(shè)計出了一種改進的數(shù)據(jù)詞典，系統(tǒng)將基于該數(shù)據(jù)字典的改進的字符串匹配分詞算法與未登錄詞識別算法相結(jié)合，提高了分詞的效率和準確性。