在線社會網(wǎng)絡(luò)上SPAM行為檢測方法研究.pdf

1、隨著web2.0的飛速發(fā)展，在線社會網(wǎng)絡(luò)（Online Social Network，簡稱OSN）已經(jīng)成為人們?nèi)粘Ｍㄓ嵔涣鞯闹匾绞健Ｈ欢?，Spam(本文指一切非正常信件的總稱，包括OSN中惡意的wall posts以及其它互聯(lián)網(wǎng)媒體中用戶不愿意接收到的信件等)的出現(xiàn)，引發(fā)了日益嚴(yán)重的OSN安全問題。Spammer可用平臺越來越廣，可用傳播媒介越來越多，Spam技術(shù)也越來越復(fù)雜。Spam技術(shù)從總體來說集中在通過不同的手段達(dá)到擴(kuò)大規(guī)模和逃

2、避檢測的目的。例如傳播媒體從傳統(tǒng)的Email到在線社會網(wǎng)絡(luò)，即時(shí)通訊，移動手機(jī)，在線網(wǎng)絡(luò)游戲，博客，維基百科等。傳播形式從純文本，到圖片，附件等。Spam不僅會耗費(fèi)網(wǎng)絡(luò)資源和大量的處理時(shí)間，造成生產(chǎn)力浪費(fèi)，嚴(yán)重的會使公司蒙受巨大經(jīng)濟(jì)損失。因此，Spam的檢測方法的研究，已成為國內(nèi)外研究的熱點(diǎn)，具有重要的理論意義和應(yīng)用價(jià)值。
　　提出存在利用Facebook等在線社會網(wǎng)絡(luò)傳播Spam及其惡意內(nèi)容的問題（spamming），并通過Fa

3、cebook上獲取的大量wall posts的數(shù)據(jù)對這個(gè)問題進(jìn)行了深入的分析和測量，研制出OSCD(OSN Spam Campaign Detection)檢測方法。Wall posts是Facebook上主要的交流方式，用戶在wall上可以隨意留言給自己的好友或public用戶。用戶wall上的信息會一直保留除非用戶自己刪除，由于這些信息的持久性和公開性，很容易被目標(biāo)用戶和其好友閱讀訪問以及利用，因此使得wall上的信息成為尋找和發(fā)現(xiàn)

4、Facebook上spam的最佳切入點(diǎn)。通過2009年抓取Facebook地區(qū)網(wǎng)的數(shù)據(jù)，獲得了大量匿名Facebook用戶信息，以及這些用戶及其好友長達(dá)1.5年的wall posts記錄?？傆?jì)約3.5M（million）用戶和187M wall posts。通過一系列的自動檢測技術(shù)得到若干spam campaigns，檢測出大約2M個(gè)含有嵌入U(xiǎn)RLs的惡意wall posts，這些wall posts來自約57000個(gè)用戶帳號。進(jìn)一步的

5、分析發(fā)現(xiàn)，其中70％的惡意wall posts用于網(wǎng)絡(luò)釣魚。同時(shí)本文對這些惡意的用戶帳號也從各方面進(jìn)行了詳細(xì)的分析，發(fā)現(xiàn)多于97％的惡意帳號是被入侵的帳號，而不是spammer自己創(chuàng)建的帳號。最后，當(dāng)我們把發(fā)送者的時(shí)間調(diào)整到當(dāng)?shù)貢r(shí)間時(shí)，發(fā)現(xiàn)spamming的行為一般發(fā)生在凌晨。
　　使用一系列數(shù)學(xué)統(tǒng)計(jì)及聚類方法對wall posts進(jìn)行分析，識別出試圖傳播惡意內(nèi)容的wall posts。通過分析那些含有URLs的文本信息，從這些信

6、息中找出關(guān)聯(lián)子集。首先，將每一個(gè)wall post抽象成一個(gè)節(jié)點(diǎn)，并且在含有相同的URL或者具有相似文本的兩個(gè)wall post之間建立一條邊。這個(gè)過程將可疑的wall posts劃分成互相排斥的子集。然后利用突發(fā)性和分布性兩大特征找出具有惡意spam campaigns特征的信息子集。最后，利用一些補(bǔ)充的機(jī)制驗(yàn)證檢測技術(shù)的有效性。通過對惡意wall posts的分析，對OSN上惡意內(nèi)容傳播的行為特征進(jìn)行測量。發(fā)現(xiàn)phishing是目前

7、為止Facebook上最流行的攻擊。同時(shí)也發(fā)現(xiàn)傳播惡意內(nèi)容的用戶與正常的用戶有著不同的交流模式，惡意用戶wall posts的突發(fā)性以及日間模式非常特別。通過對惡意內(nèi)容持續(xù)時(shí)間和用戶生命周期的分析，發(fā)現(xiàn)絕大多數(shù)的惡意內(nèi)容是從被入侵之后的帳號產(chǎn)生的，而不是專門用于傳播spam的虛假帳號。
　　提出驗(yàn)證惡意Span URLs的情感分析方法（CUD:Crowdsourcing for spam URL Detection），它可作為目前

8、驗(yàn)證工具的輔助部件來驗(yàn)證檢測到的Spam URLs。CUD通過crowdsourcing利用人類的智慧達(dá)到分類URL的目的。CUD通過crowdsourcing獲取已經(jīng)存在于網(wǎng)絡(luò)上的用戶對于spam URL的評論，并且利用自然語言處理中的情感分析方法，通過分析用戶評論達(dá)到自動檢測驗(yàn)證spam URLs的目的。由于CUD并不直接使用和URL本身相關(guān)以及URL頁面的信息，因此對新出現(xiàn)的惡意URLs或者較為狡猾的URLs會更有效。通過評估，我

9、們發(fā)現(xiàn)70％的URLs在網(wǎng)絡(luò)上有評論，CUD可以達(dá)到86.8％的檢測準(zhǔn)確率以及0.9％的檢測誤報(bào)率。而且，由CUD檢測出來的URLs中，75％都不能被其它的spam工具檢測出來。
　　最后提出SPAMMER的SDSF(Spammer Detection based on SMTP Frequency)追蹤方法，對SPAMMER進(jìn)行了追蹤。SDSF通過對網(wǎng)絡(luò)層SMTP包進(jìn)行檢測和解析，利用SMTP發(fā)送頻率和SMTP內(nèi)容的相似性兩大特