文本數(shù)據(jù)挖掘在信息監(jiān)控中的應(yīng)用研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，WEB信息正以驚人的速度增長。在WEB信息中大部分是有價(jià)值的信息，也含有少數(shù)的有害信息。監(jiān)控WEB網(wǎng)頁上的有害信息是網(wǎng)絡(luò)信息監(jiān)控部門的工作重點(diǎn)和難點(diǎn)。 目前信息監(jiān)控部門使用的工具是信息檢索。信息檢索基于關(guān)鍵字搜索方式，存在著檢索到太多無關(guān)信息和檢索信息難以用關(guān)鍵字組合來準(zhǔn)確描述的缺點(diǎn)，因此監(jiān)控部門的工作量仍然很大，使監(jiān)控工作非常被動(dòng)。 針對(duì)這一狀況，作者提出對(duì)現(xiàn)有的信息檢索工具進(jìn)行改進(jìn)，在網(wǎng)頁信息監(jiān)控

2、中應(yīng)用數(shù)據(jù)挖掘技術(shù)，以提高有害信息發(fā)現(xiàn)能力，凈化網(wǎng)絡(luò)環(huán)境。 本文闡述了信息監(jiān)控系統(tǒng)設(shè)計(jì)基本思想和數(shù)據(jù)挖掘技術(shù)應(yīng)用。系統(tǒng)設(shè)計(jì)基本思想：首先從WEB網(wǎng)頁上采集文本信息，建立文本信息庫。第二、建立文本分類模型，使用大量的有害信息樣本數(shù)據(jù)訓(xùn)練分類模型。第三、將從WEB網(wǎng)頁上采集文本信息通過訓(xùn)練好的分類模型過濾出有害信息。第四、在使用過程中用新的文本不斷訓(xùn)練文本分類模型，使分類模型的分類效果越來越好。 本文系統(tǒng)介紹了WEB信息采集