基于網(wǎng)頁文本的敏感信息檢測系統(tǒng)研究.pdf

1、近年來,一些不法分子利用網(wǎng)絡(luò)傳播淫穢、暴力、反動、恐怖等敏感信息,對國家安全、社會穩(wěn)定、人們的價值導(dǎo)向造成了嚴(yán)重的危害。如何從大量的網(wǎng)絡(luò)信息中檢測識別敏感信息,營造一個綠色健康的網(wǎng)絡(luò)環(huán)境成為當(dāng)前互聯(lián)網(wǎng)安全建設(shè)的一個重要的研究課題。目前對于敏感信息檢測的研究已經(jīng)有了很多成果,主要包括向量空間模型、神經(jīng)網(wǎng)絡(luò)、語義過濾等。這些算法有的需要用戶進行訓(xùn)練,對用戶主觀評價有依賴性,實時性較差;有的過于復(fù)雜,計算量較大,效率低。
　　本文從網(wǎng)頁

2、預(yù)處理、網(wǎng)頁主體文本提取、文本敏感詞檢測幾個方面開展研究。提出了基于網(wǎng)頁內(nèi)容的敏感信息檢測方法,通過實驗驗證了敏感信息檢測的準(zhǔn)確性和檢測效率。本文的主要研究工作如下:
　?、賹W(wǎng)頁進行了編碼轉(zhuǎn)換、文本修復(fù)和干擾信息過濾處理。為避免對不同字符集文本分別進行文本處理,本文對網(wǎng)頁源碼的編碼進行了統(tǒng)一轉(zhuǎn)換,并利用Neko HTML對網(wǎng)頁的標(biāo)簽格式、對齊錯誤等問題進行了修復(fù),然后采用正則表達(dá)式方法過濾已提取的文本中的干擾符號,消除了敏感信息

3、發(fā)布者故意在敏感詞間夾雜的干擾符號。為后一步文本內(nèi)容提取和敏感信息檢測處理的準(zhǔn)確性和效率提供了數(shù)據(jù)基礎(chǔ)。
　?、谔岢隽艘环N基于局部信噪比的網(wǎng)頁文本內(nèi)容提取方法。該方法利用 DOM樹結(jié)構(gòu),獲取網(wǎng)頁標(biāo)題,記錄各塊標(biāo)簽的文本內(nèi)容,然后通過塊標(biāo)簽局部信噪比和文本標(biāo)簽密度的計算識別網(wǎng)頁的主體文本和次要文本。該方法考慮了網(wǎng)頁文本內(nèi)容分布特征,為后面的敏感詞位置權(quán)重計算提供依據(jù)。實驗表明該方法提高了敏感信息檢測的準(zhǔn)確性和效率。
　　③提出

4、了基于敏感詞決策樹的信息檢測算法(SWDT-IDA)。該算法根據(jù)一定規(guī)則將敏感詞庫構(gòu)建為敏感詞決策樹,將已提取的文本以數(shù)據(jù)流形式匹配決策樹,獲取敏感詞位置、頻率信息。然后結(jié)合敏感詞級別,通過新的加權(quán)公式計算文本敏感值,判定文本的敏感程度。該算法綜合考慮了敏感詞位置、詞頻、敏感級別以及文本長度等因素的影響。實驗表明該算法可以更加快速準(zhǔn)確地檢測網(wǎng)頁敏感信息。
　?、茉O(shè)計并實現(xiàn)了基于網(wǎng)頁文本的敏感信息檢測原型系統(tǒng)。該原型系統(tǒng)采用了本文提