基于半監(jiān)督的網(wǎng)頁(yè)分類.pdf

1、網(wǎng)絡(luò)文本信息飛速增長(zhǎng),對(duì)海量網(wǎng)絡(luò)文本進(jìn)行自動(dòng)分類并從中找出我們所需要的信息是一項(xiàng)非常迫切的需求,然而,傳統(tǒng)的全監(jiān)督學(xué)習(xí)分類器要想有好的分類效果,首先需要人工標(biāo)注數(shù)據(jù),訓(xùn)練好模型之后,才可以分類。在海量數(shù)據(jù)面前,標(biāo)注成本極高,用戶標(biāo)注不一致,而數(shù)據(jù)采集和存儲(chǔ)技術(shù)卻一直在飛速發(fā)展,這給本文的設(shè)想提供了技術(shù)基礎(chǔ)。真實(shí)網(wǎng)絡(luò)文本中通常存在大量未標(biāo)記的數(shù)據(jù),僅有少量現(xiàn)成的已標(biāo)記數(shù)據(jù),如果我們假設(shè)大量未標(biāo)記數(shù)據(jù)與少量已標(biāo)記數(shù)據(jù)是服從相同分布的,二者結(jié)

2、合之后構(gòu)建一個(gè)質(zhì)量與數(shù)量都滿足需求的訓(xùn)練數(shù)據(jù)集,那么最終訓(xùn)練出的分類器的分類效果將會(huì)和大量標(biāo)記數(shù)據(jù)訓(xùn)練好的全監(jiān)督分類器相當(dāng)。
　　本文嘗試了主流的基于半監(jiān)督學(xué)習(xí)的分類器,分類數(shù)據(jù)直接使用了最真實(shí)的網(wǎng)絡(luò)數(shù)據(jù),除了正文提取,簡(jiǎn)單的語(yǔ)言篩選,廣告、垃圾文本過(guò)濾,最大限度地保留了原始的網(wǎng)絡(luò)內(nèi)容。為了提高分類效果,在嘗試了幾種主要的特征選擇和特征抽取方法的基礎(chǔ)上,還引入了半監(jiān)督的宏特征。
　　在分類器的選擇方面,本文嘗試了三類基于不同

3、原理的分類器:傳統(tǒng)的EM,基于直推學(xué)習(xí)的 TSVM和基于深度架構(gòu)的 DBN。在特征方面,本文在傳統(tǒng)特征方法上做了實(shí)驗(yàn),為了提高 TSVM的精度,本文首次將新的基于宏特征的方法與傳統(tǒng)特征結(jié)合在半監(jiān)督分類器上做了嘗試,并取得了顯著的性能提升。
　　本文用不同類型的分類器,在標(biāo)準(zhǔn)數(shù)據(jù)集和網(wǎng)頁(yè)數(shù)據(jù)集上進(jìn)行了對(duì)照實(shí)驗(yàn),達(dá)到了預(yù)期的自動(dòng)分類海量網(wǎng)頁(yè)的效果,在經(jīng)過(guò)一系列預(yù)處理之后,可以用降低一個(gè)數(shù)量級(jí)的標(biāo)記數(shù)據(jù),達(dá)到與全監(jiān)督分類算法相近的分類精