基于內(nèi)容的垃圾郵件過濾系統(tǒng)研究.pdf

1、隨著電子郵件的普及，垃圾郵件問題日益凸顯，其數(shù)量急劇增長(zhǎng)，內(nèi)容千變?nèi)f化，具有破壞性強(qiáng)，傳播速度快，危害范圍廣等特點(diǎn)，已經(jīng)成為全球化公害。如何有效地過濾和治理這些垃圾郵件成為當(dāng)前的迫切要求?，F(xiàn)有的垃圾郵件過濾技術(shù)主要包括基于規(guī)則的過濾和基于內(nèi)容的過濾兩大類?；谝?guī)則的過濾方法加入的主觀因素較多，抗干擾能力較弱，規(guī)則制定的好壞將直接影響郵件的過濾效果?；趦?nèi)容的過濾作為當(dāng)前垃圾郵件處理所采用的一種主要技術(shù)手段可以通過文本分類的相關(guān)算法針對(duì)郵

2、件內(nèi)容自動(dòng)尋找規(guī)律，本文主要針對(duì)基于內(nèi)容的過濾方法進(jìn)行相關(guān)研究。
　　 本文從郵件的預(yù)處理、特征選擇、權(quán)重計(jì)算和分類器的設(shè)計(jì)等方面對(duì)如何改善垃圾郵件的過濾性能進(jìn)行了探索，并對(duì)現(xiàn)有的算法在垃圾郵件過濾中存在的問題進(jìn)行了分析。針對(duì)基于內(nèi)容的垃圾郵件過濾算法存在的“維數(shù)災(zāi)難”等問題，預(yù)處理中加入詞頻和文檔頻度過濾，采取雙重特征選擇算法，有效的降低了冗余信息和噪聲數(shù)據(jù)對(duì)分類性能的影響。
　　 針對(duì)垃圾郵件與正常郵件在語(yǔ)義表述上存

3、在的差異性，本文提出一種基于類別信息的LDA特征選擇及加權(quán)算法Categories-LDA，在不同類型的郵件集中建立各自的生成模型，分別搜尋構(gòu)成各個(gè)主題的特征信息。該算法不但利用了LDA 模型基于隱含主題建模的優(yōu)點(diǎn)，而且還有效的克服了由于忽略類別主題差異性所造成的系統(tǒng)過濾性能下降的影響。
　　 本文將反饋學(xué)習(xí)與隨機(jī)森林算法相結(jié)合，繼承了決策樹集成與反饋學(xué)習(xí)的優(yōu)勢(shì)，針對(duì)垃圾郵件種類實(shí)時(shí)變化的特點(diǎn)和客戶群對(duì)郵件判別的差異性，實(shí)現(xiàn)郵件