網(wǎng)頁(yè)關(guān)鍵字過(guò)濾研究及改進(jìn).pdf

1、在信息化高度發(fā)達(dá)的今天，互聯(lián)網(wǎng)已經(jīng)成為人們獲取信息，即時(shí)溝通的重要媒介之一，給人們工作生活帶來(lái)了很大的便利。但是由于其全球性、開(kāi)放性、即時(shí)性的特點(diǎn)，互聯(lián)網(wǎng)也成為不法分子傳播不良信息的重要途徑，與傳統(tǒng)媒體相比更為棘手。如何對(duì)互聯(lián)網(wǎng)進(jìn)行有效的管理，過(guò)濾其中的不良信息，凈化網(wǎng)絡(luò)環(huán)境成為苛待解決的問(wèn)題。
　　 目前網(wǎng)絡(luò)中70％的信息是以文本形式存在，網(wǎng)頁(yè)文本過(guò)濾成為目前網(wǎng)絡(luò)監(jiān)控的最重要手段。文本過(guò)濾方法有很多，關(guān)鍵字過(guò)濾是目前應(yīng)用最廣和

2、最為可靠的技術(shù)，雖然存在一定的局限性，但是由于其過(guò)濾速度快、易于實(shí)現(xiàn)得到很大應(yīng)用。本文就是針對(duì)文本關(guān)鍵字過(guò)濾的局限性，提出合理的解決方案，并設(shè)計(jì)了系統(tǒng)。
　　 本文首先簡(jiǎn)要介紹了網(wǎng)頁(yè)文本過(guò)濾的背景，系統(tǒng)地探討了關(guān)鍵字過(guò)濾流程的各個(gè)環(huán)節(jié)，其中包括概念擴(kuò)展，敏感詞特點(diǎn)分析和特征抽取，并提出了相應(yīng)的解決方案。文章借鑒了其它文本過(guò)濾方法的優(yōu)點(diǎn)，充分考慮了系統(tǒng)地召回率、查準(zhǔn)率，運(yùn)行效率及可實(shí)現(xiàn)性，給出了一種改進(jìn)的網(wǎng)頁(yè)文本過(guò)濾系統(tǒng)的體系結(jié)構(gòu)

3、，并詳細(xì)闡述了一種多層次的網(wǎng)頁(yè)文本關(guān)鍵字過(guò)濾方法，給出了實(shí)現(xiàn)該系統(tǒng)主要模塊的數(shù)學(xué)模型及相關(guān)算法。
　　 本文所設(shè)計(jì)系統(tǒng)由兩部分組成：數(shù)據(jù)包捕獲與重組子系統(tǒng)和文本關(guān)鍵字過(guò)濾子系統(tǒng)。數(shù)據(jù)包捕獲與重組子系統(tǒng)用來(lái)捕獲局域網(wǎng)中流經(jīng)網(wǎng)卡的web數(shù)據(jù)包，并對(duì)捕獲的數(shù)據(jù)包重組，將其還原成完整的web頁(yè)面。在文本關(guān)鍵字過(guò)濾子系統(tǒng)設(shè)計(jì)中，詳細(xì)分析了當(dāng)前網(wǎng)頁(yè)中敏感詞隱藏主要特點(diǎn)，改進(jìn)了基于字典的敏感詞識(shí)別方法，使敏感詞恢復(fù)原始組合狀態(tài)。改進(jìn)了關(guān)鍵權(quán)值