基于Web不良信息過濾系統(tǒng)的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，網(wǎng)絡(luò)成為我們獲得信息的重要途徑，網(wǎng)絡(luò)信息對(duì)人民生活越來越重要，但同時(shí)網(wǎng)絡(luò)信息同時(shí)也存在著很大的負(fù)面性，在據(jù)大量和錯(cuò)雜的信息中，充斥著各種不良信息，比如宣揚(yáng)迷信和暴力的信息，反動(dòng)和極端信息和另外非法信息等等。對(duì)于這些關(guān)于不良信息的問題，已經(jīng)成為目前我們考慮網(wǎng)絡(luò)信息安全所關(guān)注的主要問題。
　　一般來說，傳統(tǒng)的數(shù)據(jù)整理主要是由工作人員的參與，輔助論述這些數(shù)據(jù)，這樣的做法事的數(shù)據(jù)論述工作速度慢帶有一定的人為干預(yù)人

2、。并且當(dāng)數(shù)據(jù)龐大的時(shí)候，人為干預(yù)的可能性變得越來越小。于是伴隨著DB技術(shù)，分布式計(jì)算、機(jī)器學(xué)習(xí)、人工智能等技術(shù)的發(fā)展，數(shù)據(jù)庫技術(shù)的發(fā)展也得到廣泛應(yīng)用。
　　鑒于對(duì)信息的傳統(tǒng)過濾技術(shù)，主要采用關(guān)鍵字技術(shù)或者是對(duì)于IP地址的過濾，這些技術(shù)并不能理想地解決對(duì)不良信息的過濾。本文對(duì)傳統(tǒng)的文檔材料信息整理技術(shù)進(jìn)行深入論述，并提出了多特征選取方法，進(jìn)而實(shí)現(xiàn)了結(jié)合機(jī)器學(xué)習(xí)和信息過濾技術(shù)的針對(duì)文檔材料過濾的自適應(yīng)系統(tǒng)。本研究的主要研究內(nèi)容包括以下

3、幾個(gè)方面：
　　(1)對(duì)信息過濾技術(shù)的發(fā)展、研究現(xiàn)狀、實(shí)際意義進(jìn)行便捷概述，并闡述有關(guān)數(shù)據(jù)挖掘和文檔材料分類方面的知識(shí)。
　　(2)詳細(xì)論述文檔材料信息過濾的相關(guān)理論。在對(duì)文檔材料信息技術(shù)的研究過程中，指出文檔材料分類這個(gè)過濾整理的基礎(chǔ)。在文章中詳細(xì)論述了文檔材料分類的一般方法，包括分類的預(yù)整理、特征選取、表示模型和涉及到的分類相關(guān)算法等。此外同時(shí)也對(duì)目前信息過濾所采取的主要方法以及信息過濾系統(tǒng)的組成和選取的模型同時(shí)也做了詳

4、細(xì)的論述。
　　(3)利用對(duì)文檔材料過濾中常見的幾種特征選取方法的論述，提出了一種新的特征選取方法——多特征選取法。本研究的主要工作包含三個(gè)方面的內(nèi)容，具體在于：第一、采取試驗(yàn)比較各種選取方法的成果；第二論述影響文檔材料分類性能的主要因素；第三、指出采取多特征選取方法的實(shí)際測驗(yàn)成果要優(yōu)于單一特征的選取方法。
　　(4)本研究設(shè)計(jì)了自適應(yīng)信息過濾系統(tǒng)，這個(gè)信息過濾系統(tǒng)是基于向量空間模型相關(guān)的，對(duì)傳統(tǒng)的信息過濾系統(tǒng)經(jīng)行了關(guān)于自適