基于機(jī)器學(xué)習(xí)理論的垃圾郵件過(guò)濾系統(tǒng)的研究與改進(jìn).pdf

1、分類問(wèn)題是機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘研究中最重要的問(wèn)題之一,其中文本自動(dòng)分類是信息檢索與數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)與核心技術(shù),近年來(lái)得到了廣泛的研究和快速的發(fā)展。論文介紹了垃圾郵件的危害性以及常見(jiàn)的過(guò)濾技術(shù),分析了現(xiàn)有的垃圾郵件過(guò)濾技術(shù)與普通的文本分類問(wèn)題之間存在的異同。同時(shí)還分析了當(dāng)前這些垃圾郵件過(guò)濾技術(shù)的優(yōu)點(diǎn)與不足,并針對(duì)這些原因提出了一些解決的辦法。論文提出一種基于靜態(tài)過(guò)濾和集成機(jī)器學(xué)習(xí)的郵件過(guò)濾系統(tǒng)的設(shè)計(jì)方案,最后通過(guò)實(shí)驗(yàn)驗(yàn)證了方案的有效性

2、。論文的主要內(nèi)容有:
　　(1)分析和總結(jié)了目前基于內(nèi)容的垃圾郵件過(guò)濾技術(shù)的現(xiàn)狀,從文本表示、特征選擇、分類算法、評(píng)價(jià)體系等方面分析和總結(jié)了文本分類中不同方法之間的技術(shù)特點(diǎn)、發(fā)展趨勢(shì)和可改進(jìn)的地方。
　　(2)特征過(guò)多會(huì)使訓(xùn)練集噪音過(guò)大,規(guī)則學(xué)習(xí)難度增大,時(shí)間耗費(fèi)過(guò)多,尤其是規(guī)則學(xué)習(xí)精度降低。但目前有關(guān)特征的主要研究集中在特征提取上,而有關(guān)特征約簡(jiǎn)的研究較少。論文提出了一種基于粗糙集理論的特征約簡(jiǎn)算法。該算法以特征提取時(shí)計(jì)算

3、得到的特征交叉熵為啟發(fā)信息,將特征與粗糙集中的屬性聯(lián)系起來(lái),采用粗糙集屬性約簡(jiǎn)算法降低了特征維數(shù),提高郵件處理效率。
　　(3)設(shè)計(jì)了一個(gè)基于靜態(tài)過(guò)濾和集成機(jī)器學(xué)習(xí)的郵件過(guò)濾系統(tǒng)。在靜態(tài)過(guò)濾和粗糙集特征約簡(jiǎn)的基礎(chǔ)上,通過(guò)規(guī)則庫(kù)或者樸素貝葉斯和支持向量機(jī)兩種方法的集成學(xué)習(xí)來(lái)判定郵件類別,并且不斷更新系統(tǒng)的規(guī)則庫(kù),同時(shí)根據(jù)兩種方法各自的判定結(jié)果來(lái)調(diào)整它們?cè)诤铣晒街械臋?quán)重。最終無(wú)論規(guī)則庫(kù)還是合成公式都更加有針對(duì)性和實(shí)用性。
　　

4、(4)在Windows操作系統(tǒng)下用Visual Studio.Net2005開(kāi)發(fā)環(huán)境實(shí)現(xiàn)了本文提出的基于靜態(tài)過(guò)濾與機(jī)器學(xué)習(xí)的垃圾郵件過(guò)濾系統(tǒng),并且給出了過(guò)濾系統(tǒng)功能模塊的具體設(shè)計(jì)。通過(guò)KeyLib和CDSCE June2005兩份郵件語(yǔ)料庫(kù)對(duì)系統(tǒng)進(jìn)行詳細(xì)的效果測(cè)試,并從查全率、準(zhǔn)確率、精確率和F值多個(gè)指標(biāo)證實(shí)了該系統(tǒng)的高效性及實(shí)用性。
　　本文的主要?jiǎng)?chuàng)新有以下幾點(diǎn):
　　(1)將粗糙集理論與特征提取相結(jié)合,提出了一種基于粗糙

5、集屬性約簡(jiǎn)的特征提取算法。該算法以特征交叉熵為啟發(fā)信息,能夠有效的約簡(jiǎn)大量的冗余特征,提高選取特征的代表性,降低特征維數(shù),減少郵件判定時(shí)間,并且提高郵件過(guò)濾準(zhǔn)確性。
　　(2)提出了基于樸素貝葉斯和SVM方法的集成學(xué)習(xí)算法。同一封郵件兩種方法分別學(xué)習(xí),結(jié)果通過(guò)合成公式合成。初始系數(shù)均為0.5,通過(guò)大量語(yǔ)料庫(kù)的學(xué)習(xí)不斷調(diào)整兩種方法的結(jié)果合成權(quán)重,最終達(dá)到針對(duì)該用戶最合適的系數(shù)權(quán)重。
　　(3)規(guī)則庫(kù)會(huì)隨著郵件的變化而相應(yīng)調(diào)整。