基于規(guī)則和統(tǒng)計(jì)的網(wǎng)絡(luò)不良信息識(shí)別研究.pdf

1、互聯(lián)網(wǎng)的高速發(fā)展，給社會(huì)和人們的生活帶來(lái)了巨大而深遠(yuǎn)的影響?；ヂ?lián)網(wǎng)作為信息傳播的載體，與傳統(tǒng)的紙媒相比具有無(wú)法比擬的優(yōu)越性，為不同領(lǐng)域如政治、經(jīng)濟(jì)、文化等的信息傳播提供了優(yōu)質(zhì)的平臺(tái)，也為人與人之間的交流創(chuàng)建了一種新的途徑。
　　互聯(lián)網(wǎng)給人們生活帶來(lái)便利的同時(shí)，也帶來(lái)一些負(fù)面的效應(yīng)。虛擬的網(wǎng)絡(luò)環(huán)境中，每一個(gè)用戶都被轉(zhuǎn)化為一串虛擬的符號(hào)，用戶通過(guò)個(gè)人網(wǎng)頁(yè)、微博、微信公眾號(hào)、論壇等形式的網(wǎng)絡(luò)媒體發(fā)布的信息、言論等，都具有一定的不確定性，

2、即使許多平臺(tái)采取一定的事前審核、事后過(guò)濾措施，但仍然有某些身份隱蔽、道德意識(shí)、文化素養(yǎng)較差的人存在，使得大量虛假的、色情類、政治敏感類、詐騙類、迷信類等信息充斥網(wǎng)絡(luò)的角角落落，、敗壞社會(huì)風(fēng)氣，蠱惑人心，給人們的身心健康造成極大的損害。
　　作為一種用戶量巨大的網(wǎng)絡(luò)社交媒體，微博是一種基于用戶關(guān)系的信息分享、傳播、獲取的平臺(tái)，用戶發(fā)布的微博消息可以通過(guò)客戶端或者平臺(tái)及時(shí)推送給粉絲，實(shí)現(xiàn)了實(shí)時(shí)、快捷的信息傳播。同時(shí)微博粉絲也可以通過(guò)發(fā)

3、表評(píng)論與博主進(jìn)行互動(dòng)，或者可以進(jìn)行轉(zhuǎn)發(fā)、評(píng)論、收藏等操作，實(shí)現(xiàn)信息分享、傳播，擴(kuò)大信息傳播的范圍，增強(qiáng)信息的影響力。微博的這個(gè)特點(diǎn)同時(shí)也導(dǎo)致了微博成為不良信息的藏身之地。因此微博已經(jīng)成為許多學(xué)者研究的對(duì)象。
　　為了凈化網(wǎng)絡(luò)環(huán)境，讓未成年人遠(yuǎn)離不良信息的侵害，給互聯(lián)網(wǎng)用戶提供良好的搜索體驗(yàn)，有必要控制這些不良信息的發(fā)布和傳播，采取相應(yīng)的措施和手段加強(qiáng)監(jiān)督和管理。為此，本文以網(wǎng)絡(luò)中不良信息的識(shí)別為目的，結(jié)合已有的中文文本挖掘技術(shù)來(lái)進(jìn)

4、行實(shí)驗(yàn)研究。通過(guò)爬蟲(chóng)程序采集微博用戶針對(duì)特定微博正文進(jìn)行評(píng)論和轉(zhuǎn)發(fā)內(nèi)容，得到原始數(shù)據(jù)。并對(duì)原始數(shù)據(jù)進(jìn)行去除無(wú)關(guān)的符號(hào)、分詞處理、依存關(guān)系標(biāo)注、詞頻統(tǒng)計(jì)等操作，并利用得到的數(shù)據(jù)來(lái)提取文本的特征集。為了提高分詞的準(zhǔn)確性，本文設(shè)計(jì)了不良詞庫(kù)，其中包含不良詞語(yǔ)本身對(duì)應(yīng)的基本詞表、近義詞表、縮寫(xiě)詞表、詞語(yǔ)之間的依存關(guān)系表;將基于統(tǒng)計(jì)的特征提取算法與依存關(guān)系分析相結(jié)合，有效提取文本特征，并使用樸素貝葉斯算法實(shí)現(xiàn)了文本分類模型。進(jìn)一步將該模型應(yīng)用于微