面向博客的垃圾評論識別方法研究.pdf

1、博客本身所具有的免費、自由和可共享的特點，使博客評論中出現(xiàn)了大量包含有廣告、超鏈接、謾罵或是誹謗等信息的垃圾評論。這給網(wǎng)絡用戶閱讀評論和與他人交流帶來了不便，同時還影響了對評論內(nèi)容的挖掘。
　　 本文面向博客領(lǐng)域進行垃圾評論的識別研究，主要工作如下：
　　 在評論識別時，考慮到評論的長短不一，對只包含網(wǎng)絡常用語的短小評論，如果用評論與對應文章比較相似度的方法來識別，容易將正常的短小評論識別為垃圾評論。因此，本文對不同長度

2、的評論采取了不同的識別方法。針對短小評論，通過比較短小評論中包含的垃圾常用語和正常的網(wǎng)絡常用語的個數(shù)來判斷短小評論的類別，進而過濾出短小的垃圾評論。
　　 識別較長評論時，本文改進了傳統(tǒng)的余弦相似度公式，將詞語間的近義關(guān)系、詞語存在的位置信息和主題詞相似度信息融入了公式中，彌補了傳統(tǒng)的相似度公式無法識別近義詞的不足。同時，考慮到主題詞與話題之間的相關(guān)程度會隨著話題的轉(zhuǎn)移而有所變化，提出了利用上述改進的相似度公式對較長評論進行k輪

3、識別的方法。在每輪的識別過程中，結(jié)合識別出的正常評論和詞語間的近義關(guān)系對主題詞的權(quán)重進行調(diào)整，從而體現(xiàn)主題詞與話題之間的相關(guān)程度；然后再從正常評論中選出主題詞的近義詞和評論中的高頻詞匯來對主題詞進行擴展，以適應話題的發(fā)展變化。
　　 最后，在所有評論識別完畢后，利用網(wǎng)絡常用語和更新后的主題詞對識別出的垃圾評論進行二次過濾，降低了正常評論被識別為垃圾評論的可能性。
　　 實驗結(jié)果表明，利用本文的方法進行評論的識別，在一定程