基于多結(jié)構(gòu)特征的垃圾博客識(shí)別研究.pdf

1、博客作為基于Internet的社交類(lèi)應(yīng)用，近年來(lái)保持了迅猛的發(fā)展勢(shì)頭，成為繼Email、BBS和ICQ之后出現(xiàn)的第四種網(wǎng)絡(luò)交流方式。博客在人際關(guān)系建立、維系和發(fā)展中發(fā)揮了越來(lái)越重要的作用，并已融入了人們的日常生活。隨著博客影響力的不斷加強(qiáng)，其副產(chǎn)品一垃圾博客也不斷涌現(xiàn)。垃圾博客的大量出現(xiàn)已給博客的繼續(xù)使用構(gòu)成了一個(gè)很?chē)?yán)重的威脅，不僅浪費(fèi)存儲(chǔ)資源和網(wǎng)絡(luò)帶寬，并通過(guò)增加搜索引擎的索引和計(jì)算開(kāi)銷(xiāo)，影響搜索結(jié)果的排名，從而降低了用戶的搜索體驗(yàn)的

2、滿意度，影響用戶獲取高質(zhì)量的信息。因此，如何精確的判斷垃圾博客已成為信息檢索領(lǐng)域亟待解決的難題之一，以及研究博客不能回避的一個(gè)問(wèn)題。
　　本文在已有的基于內(nèi)容的垃圾博客特征提取基礎(chǔ)上，提出了基于多結(jié)構(gòu)特征對(duì)垃圾博客特征進(jìn)行進(jìn)一步提取的方法。本文從分析制造垃圾博客的作弊者的目的出發(fā)，分析了垃圾博客表現(xiàn)出的基于目錄頁(yè)和博文頁(yè)面的各種結(jié)構(gòu)特征，并對(duì)每種特征給出了特征提取的算法。從搜索引擎的結(jié)果中獲取采集對(duì)象的地址，進(jìn)而建立了更為真實(shí)和有

3、針對(duì)性的垃圾博客識(shí)別數(shù)據(jù)集。提出了基于樸素貝葉斯和支持向量機(jī)分類(lèi)方法的多結(jié)構(gòu)特征垃圾博客識(shí)別模型。通過(guò)訓(xùn)練數(shù)據(jù)集進(jìn)行參數(shù)設(shè)置，并使用測(cè)試數(shù)據(jù)集對(duì)識(shí)別模型進(jìn)行檢測(cè)。
　　主要的研究?jī)?nèi)容包括以下幾個(gè)方面:
　　1.結(jié)合已有的研究，從基于作弊目的角度出發(fā)對(duì)垃圾博客表現(xiàn)出的結(jié)構(gòu)特征進(jìn)行了分析，并給出了特征提取算法。
　　2.構(gòu)建了博客采集系統(tǒng)。從搜索引擎的結(jié)果中獲取采集對(duì)象的地址，采集用于垃圾博客識(shí)別的博客數(shù)據(jù)集，進(jìn)行了預(yù)處理