基于Hadoop的郵件敏感詞檢測(cè)與告警技術(shù)研究.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來，數(shù)據(jù)開始呈現(xiàn)爆炸式的增長(zhǎng)，越來越多的互聯(lián)網(wǎng)用戶被淹沒在數(shù)據(jù)的海洋中。因此，如何從海量郵件中快速檢測(cè)到含有敏感信息的郵件已經(jīng)成為目前亟待解決的問題。郵件敏感詞的檢測(cè)與告警是指通過制定敏感詞詞庫(kù)，將郵件的內(nèi)容信息與敏感詞詞庫(kù)進(jìn)行匹配，從而找出含有敏感信息的非法郵件，并對(duì)其進(jìn)行告警。但是，傳統(tǒng)的郵件敏感詞檢測(cè)與告警技術(shù)在具體應(yīng)用中一般都忽略了對(duì)附件文本的檢測(cè)，檢測(cè)算法也不適合處理超大規(guī)模的數(shù)據(jù)量，并且其告警規(guī)則也簡(jiǎn)單粗略

2、、非法郵件的抓取率低，因此存在很多弊端。
　　本文結(jié)合某公司信息安全審計(jì)系統(tǒng)實(shí)際項(xiàng)目，研究了郵件敏感詞檢測(cè)與告警的相關(guān)技術(shù)。本文從研究背景、研究意義和研究現(xiàn)狀入手，分析了敏感詞檢測(cè)與告警的相關(guān)技術(shù)及其現(xiàn)狀，總結(jié)了現(xiàn)有檢測(cè)算法與告警技術(shù)的不足。在此基礎(chǔ)上，研究了基于中文分詞的敏感詞檢測(cè)算法與基于決策樹制定規(guī)則的告警技術(shù)，從而在一定程度上緩解了郵件敏感詞檢測(cè)所面臨的主要挑戰(zhàn)。最后，基于MapReduce、Hive、HBase、R等工具

3、，本文在Hadoop平臺(tái)上實(shí)現(xiàn)了這些算法，并初步構(gòu)建了一個(gè)基于敏感詞檢測(cè)與告警技術(shù)的郵件安全監(jiān)測(cè)原型系統(tǒng)?？偨Y(jié)起來，本文的主要工作內(nèi)容包含了以下幾個(gè)方面：
　　1)針對(duì)郵件附件數(shù)據(jù)量龐大而不被檢測(cè)的問題，研究了當(dāng)前主流的中文分詞方法，將數(shù)據(jù)量龐大的附件內(nèi)容劃分成詞語，再讓這些詞語進(jìn)行敏感詞匹配，從而降低了對(duì)郵件進(jìn)行敏感詞匹配的算法復(fù)雜度。
　　2)針對(duì)傳統(tǒng)告警規(guī)則簡(jiǎn)單粗略、非法郵件抓取率低的問題，采用當(dāng)前主流的決策樹算法制定

4、規(guī)則，并制定了白名單、黑名單及人工檢查的校驗(yàn)制度，從而更科學(xué)有效地制定出告警的規(guī)則。
　　3)針對(duì)傳統(tǒng)敏感詞檢測(cè)的大數(shù)據(jù)處理以及算法的可擴(kuò)展性問題，本文將敏感詞檢測(cè)算法部署到了Hadoop集群上，讓算法并行化處理，進(jìn)一步提高系統(tǒng)的可擴(kuò)展性。將郵件內(nèi)容信息放在HBase中，可以解決大規(guī)模數(shù)據(jù)量的存儲(chǔ)問題。將敏感詞檢測(cè)結(jié)果放在Hive中，可以高效地對(duì)大規(guī)模數(shù)據(jù)進(jìn)行分析。
　　4)在MapReduce、HDFS、HBase、Hiv