基于混合模式的網(wǎng)頁過濾系統(tǒng)研究.pdf

1、作為互聯(lián)網(wǎng)的重要應(yīng)用，網(wǎng)頁瀏覽一直受到廣大網(wǎng)民的青睞。但是互聯(lián)網(wǎng)在給大家?guī)肀憷耐瑫r，無用信息和不良網(wǎng)頁問題也日益嚴(yán)峻。這類網(wǎng)頁不僅耗費(fèi)網(wǎng)絡(luò)帶寬和計(jì)算機(jī)時空開銷，而且不良信息會對用戶的身心健康造成嚴(yán)重的干擾。 網(wǎng)頁過濾系統(tǒng)旨在幫助用戶屏蔽無用和不良的網(wǎng)頁信息。目前經(jīng)常采用的網(wǎng)頁過濾技術(shù)一般包括地址過濾、規(guī)則過濾以及敏感詞過濾等。傳統(tǒng)的過濾方法簡單快速，但是對健康網(wǎng)頁的誤判率還較高。另外一個思路就是從網(wǎng)頁的文本內(nèi)容入手，使用文本

2、分類、信息過濾的算法，在訓(xùn)練網(wǎng)頁集合上學(xué)習(xí)網(wǎng)頁分類器來進(jìn)行網(wǎng)頁過濾。由于網(wǎng)頁過濾系統(tǒng)通常是在線式的應(yīng)用環(huán)境，在將文本分類算法引入到網(wǎng)頁過濾中時，往往很難在過濾的準(zhǔn)確度和處理的實(shí)時性上達(dá)到平衡。 本文構(gòu)建了基于混合模式的網(wǎng)頁過濾系統(tǒng)，將傳統(tǒng)的基于網(wǎng)址過濾和敏感詞過濾的方法與基于文本分類的過濾方法結(jié)合起來。文章重點(diǎn)討論了特征量選取、網(wǎng)頁結(jié)構(gòu)化信息利用、文本分類算法組合等方面的改進(jìn)措施。實(shí)驗(yàn)表明這種模型在保持易于實(shí)現(xiàn)的特點(diǎn)的同時，在速