分布式架構下海量垃圾短信過濾技術研究.pdf

1、目前，隨著手機普及率的提高，加之社交網(wǎng)站、購物網(wǎng)站的普遍應用，手機注冊的普遍性，用戶手機號已成為商家廣為利用的營銷工具。隨之而來的垃圾短信，不僅占用網(wǎng)絡資源，干擾用戶正常生活，也給傳統(tǒng)的垃圾短信過濾帶來了巨大的挑戰(zhàn)。海量短信文本的過濾需要很大的存儲空間以及更強的計算能力，如何對海量的數(shù)據(jù)進行有效的過濾是一個亟待解決的問題。隨著云計算分布式系統(tǒng)Hadoop平臺的出現(xiàn)，提出了新型的分布式并行編程模型，為垃圾短信過濾提供了新的思路。
　

2、　垃圾短信過濾的本質是短信文本分類問題（垃圾短信/合法短信）。本課題首先對短信文本分類過程涉及到的文本預處理、特征選擇、文本分類算法等相關技術進行深入研究。通過對當前垃圾短信過濾算法的對比研究，選取樸素貝葉斯垃圾短信過濾算法，再結合Hadoop分布式平臺在海量數(shù)據(jù)處理方面的核心技術，提出一種基于MapReduce模型的樸素貝葉斯的垃圾短信過濾方法。本文的研究工作特點表現(xiàn)在下面幾個方面：
　　一、在特征提取階段，利用信息增益和CHI

3、相結合的方法對特征選擇算法進行改進，減少特征向量空間維度，優(yōu)化運算時間和存儲空間；
　　二、對樸素貝葉斯垃圾短信過濾算法進行改進，在分類決策階段引入閾值，減少將合法短信判斷為垃圾短信誤判概率，提高分類的準確性；
　　三、針對短信過濾的效率問題，提出基于Hadoop分布式框架，采用并行計算模型MapReduce對短信文本預處理、特征詞選擇、文本分類訓練和測試進行處理，在處理海量短信時具有明顯的優(yōu)勢；
　　最后實驗結果表明