文本數據挖掘在信息監(jiān)控中的應用研究.pdf

1、隨著網絡技術的發(fā)展，WEB信息正以驚人的速度增長。在WEB信息中大部分是有價值的信息，也含有少數的有害信息。監(jiān)控WEB網頁上的有害信息是網絡信息監(jiān)控部門的工作重點和難點。 目前信息監(jiān)控部門使用的工具是信息檢索。信息檢索基于關鍵字搜索方式，存在著檢索到太多無關信息和檢索信息難以用關鍵字組合來準確描述的缺點，因此監(jiān)控部門的工作量仍然很大，使監(jiān)控工作非常被動。 針對這一狀況，作者提出對現有的信息檢索工具進行改進，在網頁信息監(jiān)控

2、中應用數據挖掘技術，以提高有害信息發(fā)現能力，凈化網絡環(huán)境。 本文闡述了信息監(jiān)控系統(tǒng)設計基本思想和數據挖掘技術應用。系統(tǒng)設計基本思想：首先從WEB網頁上采集文本信息，建立文本信息庫。第二、建立文本分類模型，使用大量的有害信息樣本數據訓練分類模型。第三、將從WEB網頁上采集文本信息通過訓練好的分類模型過濾出有害信息。第四、在使用過程中用新的文本不斷訓練文本分類模型，使分類模型的分類效果越來越好。 本文系統(tǒng)介紹了WEB信息采集