基于規(guī)則權(quán)重合成的垃圾郵件過濾算法研究

1、國內(nèi)圖書分類號：TP393.098國際圖書分類號：621.3工學(xué)碩士學(xué)位論文基于規(guī)則權(quán)重合成的垃圾郵件過濾算法研究碩士研究生：宋智洋導(dǎo)師：丁宇新副教授申請學(xué)位：工學(xué)碩士學(xué)科、專業(yè)：計算機科學(xué)與技術(shù)所在單位：深圳研究生院答辯日期：2007年12月授予學(xué)位單位：哈爾濱工業(yè)大學(xué)摘要I摘要電子郵件過濾系統(tǒng)的主要任務(wù)是幫助用戶節(jié)省手動刪除垃圾郵件的時間和精力，幫助服務(wù)器過濾掉垃圾郵件以節(jié)省網(wǎng)絡(luò)資源。郵件過濾屬于文本分類的二值分類，系統(tǒng)必須具有實時

2、性、高效性、高可靠性，必要時要考慮用戶個性化。根據(jù)2007年第一次反垃圾郵件調(diào)查報告分析顯示，半數(shù)以上的用戶沒有使用郵件過濾服務(wù)，其中41%的用戶認為過濾效果不明顯、19%的用戶認為過濾系統(tǒng)的功能不能滿足其需要，由于中文垃圾郵件過濾的研究在國內(nèi)起步較晚，在國外做得較少，影響了中文郵件過濾系統(tǒng)的性能和普及。本課題研究的目的在于提高郵件過濾系統(tǒng)的性能。本文分析了普通文本分類與垃圾郵件過濾在特征提取上的相同點和不同點，在規(guī)則提取上考慮了郵件特

3、征詞匯的分布特性，通過對統(tǒng)計結(jié)果的分析，改進了原有的特征提取算法，在郵件過濾中得到了較好的效果。接著引入理想化模型，提出了邊界點圓半徑特征提取算法。本文主要研究內(nèi)容包括：(1)采用特征向量空間的樣本建模方法，把郵件樣本表示為特征詞匯(規(guī)則）向量的形式。(2)分析郵件特征詞的分布特點，改進并提出了若干特征提取算法，使提取出的規(guī)則可以較好的表現(xiàn)郵件的特性。(3)研究梯度下降神經(jīng)網(wǎng)絡(luò)，設(shè)計了BP神經(jīng)網(wǎng)絡(luò)，通過實驗得到較好的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，實

4、現(xiàn)特征提取算法地規(guī)則提取特征性比較。(4)研究遺傳算法理論，采用基于突變的遺傳神經(jīng)網(wǎng)絡(luò)方法設(shè)計了一個郵件過濾系統(tǒng)，提高了郵件過濾的精度和可靠性，滿足了中文垃圾郵件過濾的需求。本文在實現(xiàn)郵件過濾系統(tǒng)時采用了可以實現(xiàn)全局最優(yōu)的遺傳算法和預(yù)選擇的小生境搜索等優(yōu)化方法，在實驗中獲得了較理想的分類結(jié)果。對遺傳神經(jīng)網(wǎng)絡(luò)與梯度下降的神經(jīng)網(wǎng)絡(luò)算法進行的對比分析表明：本系統(tǒng)所采用的遺傳神經(jīng)網(wǎng)絡(luò)算法在效率和可靠性上都有了一定的提高，適合在郵件過濾系統(tǒng)的應(yīng)用