基于WEB的某社交網(wǎng)站SPAM評(píng)估系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)的大規(guī)模普及，國內(nèi)外涌現(xiàn)出了大量的社交網(wǎng)站平臺(tái)，其中以facebook、微博、百度貼吧、天涯社區(qū)等為代表。這些網(wǎng)站有一個(gè)共同點(diǎn)，那就是都屬于UGC(UserGeneratedContent)—用戶原創(chuàng)內(nèi)容類型的網(wǎng)站平臺(tái)。這類網(wǎng)站上內(nèi)容主要是依賴用戶創(chuàng)造生成，每一個(gè)網(wǎng)站用戶都可以隨心所欲的生成發(fā)表自己的內(nèi)容。利用這種產(chǎn)出方式，這類網(wǎng)站的內(nèi)容會(huì)迅速膨脹，形成一個(gè)多、廣、專的局面，有力地促進(jìn)了知識(shí)的積累和傳播。
　　以目前全球最

2、大的中文社區(qū)網(wǎng)站-百度貼吧為例，百度貼吧經(jīng)過10年的發(fā)展，已經(jīng)擁有幾億的注冊用戶，創(chuàng)建的貼吧數(shù)量有上百萬個(gè)，每天新增的話題貼近億。貼吧有如此巨大的用戶群體，并且由于屬于UGC類社交網(wǎng)站，每一個(gè)用戶都可以生成自己個(gè)性化的內(nèi)容，所以在有效進(jìn)行知識(shí)傳播的同時(shí)，不可避免的會(huì)出現(xiàn)大量不健康（色情、暴力、反動(dòng)）、廣告?zhèn)麂N、虛假欺詐等令用戶反感、侵害正常用戶權(quán)益甚至違法犯罪的垃圾內(nèi)容。在互聯(lián)網(wǎng)行業(yè)，人們稱這些垃圾內(nèi)容為“spam”或者“作弊內(nèi)容”;那

3、些在網(wǎng)上發(fā)布這些spam的人被稱為“作弊者”;如果一個(gè)正常用戶在瀏覽網(wǎng)頁的過程中，看到了這些垃圾內(nèi)容，那么我們稱用戶的這次瀏覽行為“被污染”了。
　　為了盡可能既快又準(zhǔn)的從上億條的數(shù)據(jù)中發(fā)現(xiàn)識(shí)別出垃圾內(nèi)容，以保證網(wǎng)站的正常用戶在使用網(wǎng)站服務(wù)時(shí)能更快更便捷的獲取自己的所求，就需要能及時(shí)準(zhǔn)確地掌握這些垃圾內(nèi)容在網(wǎng)站上所占的比例（作弊率）、對(duì)正常用戶的影響程度（污染率）以及作弊者所發(fā)垃圾內(nèi)容的共同特征和所屬類型。這樣才能以很小的人力成本

4、及時(shí)高效地清理掉這些垃圾內(nèi)容，減少其對(duì)正常用戶的負(fù)面影響，提高用戶的產(chǎn)品體驗(yàn)。
　　目前，以貼吧為例，人工評(píng)估一次作弊率大約需要1天/人次，包括評(píng)估數(shù)據(jù)的獲取，人工審查數(shù)據(jù)，手工計(jì)算作弊率。用戶污染率更是無法評(píng)估。而統(tǒng)計(jì)一次垃圾內(nèi)容的共同特征（如帶有文字廣告、圖片等），再將其分類，這個(gè)過程更是需要幾天的時(shí)間。這種評(píng)估方式不僅繁瑣耗時(shí)耗人力，而且評(píng)估統(tǒng)計(jì)出的結(jié)果準(zhǔn)確率不高，也不能保證時(shí)效性，致使工程師們不能及時(shí)準(zhǔn)確地掌握作弊率和新出

5、現(xiàn)的各種垃圾內(nèi)容的特征類別，從而不能及時(shí)高效地調(diào)整應(yīng)對(duì)策略清除這些垃圾內(nèi)容數(shù)據(jù)。即使統(tǒng)計(jì)出來了，作弊者也已經(jīng)發(fā)布了大量的垃圾內(nèi)容到網(wǎng)站上，已經(jīng)對(duì)正常用戶造成了不可挽回的身心權(quán)益?zhèn)?，大大影響了正常用戶的體驗(yàn)，有可能導(dǎo)致正常用戶的流失。
　　為了解決評(píng)估周期長、成本高、準(zhǔn)確率低的問題，本論文基于WEB設(shè)計(jì)并實(shí)現(xiàn)一個(gè)可快速準(zhǔn)確的評(píng)估出各項(xiàng)指標(biāo)的貼吧SPAM評(píng)估系統(tǒng)。本系統(tǒng)采用B/S模式，使用MVC開發(fā)框架結(jié)構(gòu)，基于PHP+Mysql+