Web文本信息過(guò)濾方法研究.pdf

1、隨著Internet的發(fā)展，網(wǎng)上的信息量在飛速的增長(zhǎng)。同時(shí)，信息的內(nèi)容也逐漸多樣化，各式各樣的內(nèi)容涌現(xiàn)到網(wǎng)民面前，其中不免有些不良和不安全信息的存在。如何有效的從眾多的信息中盡快的獲取真正所需要的內(nèi)容？如何避免不良和不安全的信息在網(wǎng)上傳播？信息過(guò)濾為其提供了一種解決方案。
　　 Internet上的信息大部分是以Web文本的形式出現(xiàn)的。對(duì)Web文本內(nèi)容進(jìn)行過(guò)濾，涉及的主要技術(shù)包括：中文分詞、特征提取、文本分類等。中文文本信息過(guò)濾

2、的過(guò)程一般是把整個(gè)文本進(jìn)行中文分詞，根據(jù)特征項(xiàng)將文本轉(zhuǎn)換成向量的形式，通過(guò)一定的數(shù)學(xué)模型對(duì)向量進(jìn)行計(jì)算，根據(jù)計(jì)算結(jié)果對(duì)文本進(jìn)行分類。過(guò)濾的實(shí)質(zhì)是在用戶閱讀信息之前先代替用戶對(duì)文本的內(nèi)容類別做出選擇，把與用戶需求無(wú)關(guān)的內(nèi)容過(guò)濾掉，以提高用戶獲取信息的效率。
　　 基于多層次的Web文本信息過(guò)濾方法是模仿人類信息過(guò)濾的方法而提出的。人們平時(shí)看報(bào)紙或書籍時(shí)，先對(duì)報(bào)紙或書籍進(jìn)行瀏覽，根據(jù)標(biāo)題或者書的目錄選出喜愛(ài)的文章，再去詳細(xì)的閱讀。方