維吾爾文垃圾短信過濾技術(shù)研究.pdf

1、手機(jī)上的維吾爾文輸入法的成功開發(fā)和投入使用解決了維吾爾族用戶由于語言、文字差異造成的通訊困難等問題，維吾爾語短信的使用率也隨之大大的提高。隨著用維吾爾文發(fā)送短信的普及，各種維吾爾文垃圾短信開始出現(xiàn)，對(duì)人們的正常生活造成了困擾。如何準(zhǔn)確、快捷地用科學(xué)的方法自動(dòng)攔截和過濾這些垃圾短信成為人們關(guān)注的重點(diǎn)。
　　本文為了凈化維吾爾文短信交流環(huán)境，根據(jù)維吾爾文的文字特征，采用基于維吾爾文短信文本分類的方法和基于規(guī)則的方法對(duì)維吾爾文垃圾短信進(jìn)

2、行過濾。本文主要內(nèi)容如下：
　　1.介紹維吾爾文的特點(diǎn)和垃圾短信的過濾方法。分析維吾爾文的構(gòu)詞、語法規(guī)律，垃圾短信過濾的特點(diǎn)。介紹基于文本內(nèi)容和規(guī)則的不同的過濾方法，對(duì)應(yīng)提出采用文本分類方法和黑白名單方法短信過濾的思路。
　　2.改進(jìn)傳統(tǒng)的期望交叉熵算法。為短信文本分類選擇特征，分析傳統(tǒng)的期望交叉熵算法的原理和優(yōu)缺點(diǎn)，針對(duì)其特征詞分布未考慮全面、未考慮低頻詞條對(duì)計(jì)算量的影響等缺點(diǎn)引入集中度、分散度和最低詞頻限制等要素進(jìn)行相應(yīng)

3、的改進(jìn)。集中度表示在一個(gè)類別中出現(xiàn)次數(shù)多又分布較均勻的特征項(xiàng)、分散度衡量某一個(gè)特征項(xiàng)在各個(gè)類別的分布程度。最后用改進(jìn)后的算法對(duì)維吾爾文短信文本進(jìn)行特征選擇和提取。實(shí)驗(yàn)表明，改進(jìn)的期望交叉熵方法在同等條件下比傳統(tǒng)的方法更具有優(yōu)越性，準(zhǔn)確率更高、特征項(xiàng)數(shù)量要求更少。
　　3.提出一種基于深度置信網(wǎng)絡(luò)的維吾爾文短信文本分類模型。針對(duì)在維吾爾文文本分類中，傳統(tǒng)分類算法的準(zhǔn)確率不高的問題，提出一種基于深度置信網(wǎng)絡(luò)的維吾爾文短信文本分類模型。

4、深度學(xué)習(xí)仿效人腦的層次性結(jié)構(gòu)，對(duì)數(shù)據(jù)從下到上的層次順序逐漸地進(jìn)行特征提取，從而發(fā)掘數(shù)據(jù)集的分布規(guī)律，提高分類的準(zhǔn)確度。通過一層一層無監(jiān)督的方式初始化深度置信網(wǎng)絡(luò)，并結(jié)合softmax回歸分類器實(shí)現(xiàn)文本的分類。最后在收集的維吾爾文短信數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證，分類出正常短信和垃圾短信。
　　4.實(shí)現(xiàn)基于PC端的“維吾爾文垃圾短信過濾演示系統(tǒng)”和基于手機(jī)端的“基于Android端的維吾爾文垃圾短信實(shí)時(shí)過濾系統(tǒng)”。
　　在基于文本分類