基于文本分類的反垃圾郵件技術(shù)研究.pdf

1、現(xiàn)如今，互聯(lián)網(wǎng)已經(jīng)成為了我們生活的一部分，作為互聯(lián)網(wǎng)服務(wù)之一的電子郵件，以其方便性、低成本性等特點(diǎn)，已經(jīng)被廣泛應(yīng)用，成為人們生活中最普遍的網(wǎng)絡(luò)溝通工具。但是由于其潛在的巨大利益，垃圾郵件越來越猖獗，其不但消耗了大量的網(wǎng)絡(luò)帶寬，而且占用了收件人時(shí)間、存儲(chǔ)資源以及傳播不良信息，對(duì)社會(huì)造成極大的不良影響。
　　本文首先研究了電子郵件的發(fā)送協(xié)議和反垃圾郵件技術(shù)的背景、發(fā)展以及相關(guān)技術(shù)，并且對(duì)垃圾郵件進(jìn)行了定義；其次對(duì)整個(gè)反垃圾郵件平臺(tái)進(jìn)行

2、了設(shè)計(jì)；第三，通過研究了中文分詞技術(shù)——字典存儲(chǔ)技術(shù)和路徑選擇，實(shí)現(xiàn)了整合基于統(tǒng)計(jì)的分詞和基于字典的分詞模塊，實(shí)現(xiàn)郵件的基本特征屬性集的提取，這是文本分類算法實(shí)現(xiàn)的核心，在此基礎(chǔ)上對(duì)文本相似度以及多層貝葉斯網(wǎng)絡(luò)模型進(jìn)行了研究、改進(jìn)并且實(shí)現(xiàn)。研究過程如下所示：
　　首先對(duì)于文本相似度，本文在基于向量的文本特征的基礎(chǔ)上，實(shí)現(xiàn)文本相似度向多維空間中向量之間相互關(guān)系的轉(zhuǎn)化，對(duì)于搜索引擎上使用的夾角相似度在郵件過濾系統(tǒng)中文本相似度度量的劣勢(shì)

3、，考慮用距離度量其相互關(guān)系，通過理論分析和項(xiàng)目應(yīng)用中發(fā)現(xiàn)該量度在郵件的計(jì)算上，特別是長(zhǎng)郵件內(nèi)容的計(jì)算上，具有更低的時(shí)間復(fù)雜度，實(shí)驗(yàn)數(shù)據(jù)顯示，對(duì)比與夾角相似度也具有更好的分類效果和更低的誤判率。
　　其次對(duì)整個(gè)樸素貝葉斯模型在反垃圾郵件中的實(shí)現(xiàn)過程進(jìn)行了描述和分析，在研究樸素貝葉斯模型時(shí)，發(fā)現(xiàn)由于其屬性集較少、郵件特征不明顯等原因，分類效果不是特別理想。因此提出將3層貝葉斯網(wǎng)絡(luò)應(yīng)用于反垃圾郵件系統(tǒng)中，通過研究屬性節(jié)點(diǎn)之間的相關(guān)度，和