垃圾微博信息過(guò)濾技術(shù)的研究.pdf

1、社交網(wǎng)絡(luò)以其用戶量大，信息傳播速度快，范圍廣，互動(dòng)性強(qiáng)的特點(diǎn)成為目前最大且活躍的社交平臺(tái)。如新浪微博，微信朋友圈，Google+等社交網(wǎng)絡(luò)平臺(tái)已經(jīng)成為互聯(lián)網(wǎng)用戶生活的重要組成部分。社交網(wǎng)絡(luò)在給人們的生活帶來(lái)便利的同時(shí)，其本身也成為了一些廣告，傳銷分子散布垃圾微博信息的工具。所以，社交網(wǎng)絡(luò)中垃圾微博信息的過(guò)濾和微博僵尸賬號(hào)的識(shí)別已經(jīng)成為了重要的熱點(diǎn)研究課題。
　　本文以新浪微博為研究平臺(tái)，采用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的方法，從分類和排序的

2、兩種角度識(shí)別新浪微博中的僵尸賬號(hào)，從而有效地過(guò)濾垃圾微博信息，主要工作分為以下四個(gè)部分：
　　首先：采用統(tǒng)計(jì)機(jī)器學(xué)習(xí)中的在線主動(dòng)學(xué)習(xí)算法，設(shè)計(jì)并實(shí)現(xiàn)了基于邏輯回歸，樸素貝葉斯，支持向量機(jī)三種統(tǒng)計(jì)機(jī)器學(xué)習(xí)模型的在線分類系統(tǒng)，分別對(duì)單條微博信息進(jìn)行分類。
　　其次：從分類的角度，由于微博屬于短文本，可以提取到的有價(jià)值的特征少，特征向量稀疏，機(jī)器學(xué)習(xí)分類器對(duì)單條微博的分類效果有限。因此，引入序貫概率比模型，根據(jù)第一部分前端分類器對(duì)

3、每個(gè)賬號(hào)發(fā)布的單條微博分類結(jié)果序列，來(lái)對(duì)微博賬號(hào)進(jìn)行分類，從而有效識(shí)別微博僵尸賬號(hào)。
　　再次：以賬號(hào)為單位，從用戶社交行為和微博內(nèi)容兩方面提取賬號(hào)的特征，通過(guò)數(shù)據(jù)分析選取有效的特征，采用libSVM的分類器進(jìn)行離線建模和微博賬號(hào)分類。
　　最后：從排序的角度，通過(guò)對(duì)微博平臺(tái)上某個(gè)領(lǐng)域的子網(wǎng)中賬號(hào)之間的社交關(guān)系，構(gòu)建這個(gè)子網(wǎng)的社交關(guān)系矩陣，采用PageRank算法對(duì)子網(wǎng)中賬號(hào)的價(jià)值度進(jìn)行排序，根據(jù)排序結(jié)果來(lái)對(duì)賬號(hào)進(jìn)行群體劃分