中文垃信過濾中典型判別學(xué)習(xí)模型和生成模型的比較.pdf

1、垃圾短信嚴(yán)重干擾了其正常生活，危害到個人隱私。垃圾短信的泛濫造成了運營商短信中心等基礎(chǔ)設(shè)施投資的巨大浪費，并增加了網(wǎng)絡(luò)遭到惡意攻擊的危險。利用短信進行勒索、詐騙的違法犯罪的活動日漸猖獗(如以中獎、征婚、辦證、敲詐等主要方式出現(xiàn))。由于一些居心叵測、別有用心的人利用短信傳播不實消息和謠言，在群眾中造成大面積恐慌，破壞社會穩(wěn)定。(如非典時期一些地方發(fā)生的藥品、食品搶購風(fēng)潮，就與短信中某些虛假消息的迅速傳播有關(guān))。少數(shù)不法分子利用它傳播黃色信

2、息，毒化社會風(fēng)氣。短信作為一種方便快捷的聯(lián)絡(luò)方式，在過去幾年受到越來越多用戶的歡迎，并取得突飛猛進的發(fā)展。然而，這些垃圾信息的背后，是一個巨大的產(chǎn)業(yè)鏈，而被肆意販賣的正是手機用戶的個人隱私。
　　 本文在全面分析國內(nèi)外研究現(xiàn)狀的基礎(chǔ)上，探討了垃圾短信過濾系統(tǒng)的必要性和重要意義，并對垃圾短信過濾系統(tǒng)進行了詳細的理論概述，對支撐模型進行了系統(tǒng)研究。本文以直接優(yōu)化核心評價指標(biāo)1-ROCA來提升過濾系統(tǒng)性能為核心思想，同時提升1am％指

3、標(biāo)。在此基礎(chǔ)上，選擇了邏輯回歸模型和貝葉斯模型作為過濾器的模型，這兩種模型在以往的中文信息過濾任務(wù)中表現(xiàn)出極佳的性能，并且具有較低的時間復(fù)雜度和空間復(fù)雜度并提出字節(jié)級n-gram的特征提取方法，通過提取短信的二進制片段序列特征，使過濾模型具有語言無關(guān)性，同時解決垃圾短信偽裝和隱藏的問題。
　　 實驗證明，本文的兩種垃圾短信過濾器均具有較好的實驗結(jié)果。然而，相對這種兩種模型，我們發(fā)現(xiàn)樸素貝葉斯模型的性能優(yōu)于邏輯回歸模型，但隨著短信

4、數(shù)量的增加，邏輯回歸模型的性能最終略優(yōu)于貝葉斯模型。
　　 基于邏輯回歸模型的垃圾短信過濾方法可以取得很好的過濾效果。本文在模型上采用邏輯回歸模型、利用字級n-gram方法進行特征提取，具有簡單易行，效率高等優(yōu)勢。并對TONE訓(xùn)練加以改進。實驗表明，該方法可以以很高的準(zhǔn)確率識別出垃圾短信，同時，對合法短信判斷的錯誤率很低，減少了因為誤判對手機用戶造成的損失。由于該方法分類耗時較短，對系統(tǒng)資源占用較少，適用于移動通信系統(tǒng)。