基于啟發(fā)式規(guī)則和文本分類(lèi)的信息過(guò)濾技術(shù).pdf

1、隨著Internet使用的日益普遍，網(wǎng)絡(luò)給人們帶來(lái)了無(wú)比豐富的信息，但是，Internet也充斥著各種色情、反動(dòng)或者是暴力的信息和各種互聯(lián)網(wǎng)病毒，網(wǎng)絡(luò)上存在的各種不良信息等越來(lái)越多的干擾著人們正常使用互聯(lián)網(wǎng)。如何有效控制這些信息的傳播，并保障網(wǎng)絡(luò)的內(nèi)容安全已經(jīng)成為信息過(guò)濾研究的主要內(nèi)容之一?；ヂ?lián)網(wǎng)中出現(xiàn)的不良文本大多以文本的形式出現(xiàn)，因此不良文本過(guò)濾技術(shù)已經(jīng)成為不良信息過(guò)濾領(lǐng)域中的主要研究方向了。 論文首先概述了信息過(guò)濾技術(shù)的基

2、礎(chǔ)知識(shí)：概念、分類(lèi)、與其他信息處理技術(shù)的差別、常用的信息過(guò)濾模型。接著介紹了信息過(guò)濾系統(tǒng)中對(duì)文本的預(yù)處理過(guò)程，如：分詞、特征選擇等。然后介紹了Naive Bayes(NB)分類(lèi)器、KNN(K NearestNeighbor)算法、SVM(Support Vector Machine)等文本分類(lèi)算法。 本文重點(diǎn)介紹了判別式Naive Bayes(NB)文本分類(lèi)算法。這一部分首先介紹了貝葉斯文本分類(lèi)算法中常用的兩種模型，以及二分類(lèi)樸

3、素貝葉斯文本分類(lèi)算法的實(shí)現(xiàn)過(guò)程；然后詳細(xì)介紹了判別式貝葉斯分類(lèi)算法的優(yōu)點(diǎn)及其詳細(xì)實(shí)現(xiàn)過(guò)程；最后將判別式’Naive Bayes分類(lèi)算法應(yīng)用到文本信息過(guò)濾領(lǐng)域中，設(shè)定文本的類(lèi)別為兩類(lèi)：健康文本和可疑文本，提出了判別式Naive Bayes文本分類(lèi)算法。 文章最后提出了一種基于啟發(fā)式規(guī)則和文本分類(lèi)算法相結(jié)合的多級(jí)信息過(guò)濾模型。首先介紹了基于啟發(fā)式規(guī)則的信息過(guò)濾模型，針對(duì)現(xiàn)在互聯(lián)網(wǎng)上出現(xiàn)的不良信息的表現(xiàn)形式進(jìn)行了規(guī)則庫(kù)的設(shè)計(jì)和規(guī)則的設(shè)