中文短信內(nèi)容過(guò)濾算法的實(shí)現(xiàn)與應(yīng)用.pdf

1、隨著網(wǎng)絡(luò)的發(fā)展和手機(jī)的普及，經(jīng)互聯(lián)網(wǎng)發(fā)送的短信數(shù)量與日俱增。這樣就需要一個(gè)短信監(jiān)控系統(tǒng)，對(duì)從互聯(lián)網(wǎng)向手機(jī)發(fā)送的短信內(nèi)容進(jìn)行監(jiān)控。但大多數(shù)的短信內(nèi)容提供商無(wú)法在其自身的短信服務(wù)器上對(duì)有害的短信進(jìn)行復(fù)雜的過(guò)濾工作。于是，關(guān)于“如何對(duì)短信服務(wù)器的短信內(nèi)容進(jìn)行有效的管理？”的問(wèn)題凸顯出來(lái)。為了解決這個(gè)問(wèn)題，本文找到并實(shí)現(xiàn)了一個(gè)適合對(duì)中文短信進(jìn)行內(nèi)容監(jiān)控的過(guò)濾算法——ExB+MBDM算法。并將此算法應(yīng)用于一套自動(dòng)過(guò)濾系統(tǒng)，用以過(guò)濾移動(dòng)夢(mèng)網(wǎng)上的中文

2、短信。該系統(tǒng)架設(shè)在短信內(nèi)容提供商的短信服務(wù)器與移動(dòng)的短信網(wǎng)關(guān)之間。
　　那么，什么樣的短信內(nèi)容的過(guò)濾方式才能夠滿足實(shí)際應(yīng)用的需求呢？這個(gè)問(wèn)題成為搭建短信內(nèi)容過(guò)濾系統(tǒng)的關(guān)鍵所在。短信內(nèi)容的過(guò)濾方式就是指短信內(nèi)容的過(guò)濾算法。短信內(nèi)容過(guò)濾算法屬于多模匹配算法的范疇，算法的的優(yōu)劣對(duì)整個(gè)過(guò)濾系統(tǒng)的效率有著巨大的影響。本文重點(diǎn)在于實(shí)現(xiàn)適合中文短信內(nèi)容的過(guò)濾算法，并對(duì)其加以應(yīng)用。
　　中文短信的內(nèi)容過(guò)濾問(wèn)題具有的：字符集規(guī)模龐大（中文）、

3、模式集中的模式長(zhǎng)度小且模式數(shù)量眾多、輸入文本短小等特征。作者在對(duì)多種匹配算法分析和實(shí)驗(yàn)后，找到了適合對(duì)中文短信內(nèi)容的過(guò)濾算法——多模匹配算法，并對(duì)該算法進(jìn)行了實(shí)現(xiàn)和應(yīng)用。
　　本課題所實(shí)現(xiàn)的過(guò)濾算法（稱(chēng)為ExB+MBDM算法）在總體上分為預(yù)處理階段和匹配階段兩大部分。在預(yù)處理階段，將模式關(guān)鍵字鏈表、AC自動(dòng)機(jī)和DAWG自動(dòng)機(jī)有機(jī)地結(jié)合起來(lái)，共同組成一個(gè)廣義的預(yù)處理自動(dòng)機(jī)，來(lái)對(duì)模式集進(jìn)行處理；預(yù)處理自動(dòng)機(jī)的處理結(jié)果，被儲(chǔ)存到一個(gè)叫做

4、模式匹配表的靜態(tài)表里，此表就是預(yù)處理自動(dòng)機(jī)的靜態(tài)表示。在匹配階段，總體上采用KIM算法的“兩步分析”的思想，將匹配階段分為粗分析和細(xì)分析兩個(gè)步驟；首先采用ExB算法的“排斥”思想與OM算法的“字符頻率表”技術(shù)相結(jié)合的方法對(duì)輸入短信進(jìn)行粗分析；然后再利用MBDM算法的匹配方法，對(duì)粗分析所挑選出的數(shù)據(jù)進(jìn)行細(xì)分析，另外WM算法的“自動(dòng)機(jī)入口”技術(shù)亦有所利用。
　　算法的實(shí)現(xiàn)和驗(yàn)證表明ExB+MBDM算法是正確且有效率的。而基于此算法的過(guò)