校園網(wǎng)有害信息監(jiān)測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、本論文在現(xiàn)有搜索引擎核心技術(shù)進(jìn)行研究的基礎(chǔ)上，設(shè)計(jì)實(shí)現(xiàn)了校內(nèi)搜索引擎系統(tǒng)暨一種基于搜索引擎采用主動(dòng)掃描探測(cè)方法進(jìn)行校園網(wǎng)有害信息監(jiān)控的校園網(wǎng)有害信息監(jiān)控系統(tǒng)。
　　通過調(diào)研分析各大搜索引擎的工作原理，研究網(wǎng)絡(luò)蜘蛛技術(shù)實(shí)現(xiàn)的功能、原理及搜索策略，基于JAVA語言及Oracle數(shù)據(jù)庫，采用網(wǎng)絡(luò)編程技術(shù)(分析HTTP1.1協(xié)議、Socket連接)、數(shù)據(jù)庫技術(shù)(JDBC連接、BOLB字段處理等)及多線程技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了網(wǎng)絡(luò)蜘蛛部分，可對(duì)

2、指定域的網(wǎng)站進(jìn)行抓取和網(wǎng)頁分析，實(shí)現(xiàn)了對(duì)htm、html、asp、php、jsp等類型網(wǎng)頁的自動(dòng)抓取，并將網(wǎng)頁數(shù)據(jù)存儲(chǔ)到本地?cái)?shù)據(jù)庫中，為搜索引擎提供數(shù)據(jù)基礎(chǔ)。
　　研究中文分詞算法，通過比較分析，采用逆向最大匹配和二級(jí)哈希散列算法，實(shí)現(xiàn)中文分詞，對(duì)網(wǎng)頁數(shù)據(jù)庫中網(wǎng)頁進(jìn)行分詞并建立索引庫。
　　基于J2EE架構(gòu)，采用數(shù)據(jù)庫編程技術(shù)、web編程技術(shù)，以網(wǎng)頁數(shù)據(jù)庫及索引庫為數(shù)據(jù)基礎(chǔ)，開發(fā)了基于web的搜索引擎系統(tǒng)。
　　以搜索

3、引擎系統(tǒng)為基礎(chǔ)，建立了包括非法web服務(wù)網(wǎng)站掃描、有害信息監(jiān)測(cè)、后臺(tái)智能啟動(dòng)、有害詞庫管理、站點(diǎn)管理、重大事件管理、用戶管理、系統(tǒng)管理等模塊的有害信息監(jiān)測(cè)系統(tǒng)，可定時(shí)對(duì)所有站點(diǎn)或指定站點(diǎn)進(jìn)行搜索，并將搜索到的有害信息發(fā)送到指定郵箱報(bào)告管理員或在管理平臺(tái)中列出所有當(dāng)前搜索到的有害信息，起到有效的有害信息預(yù)警作用；同時(shí)實(shí)現(xiàn)對(duì)有害信息的管理，對(duì)有害信息進(jìn)行分類(政治、色情、暴力等)；將重大違規(guī)事件存入數(shù)據(jù)庫；結(jié)合域名管理，找到有害信息來源網(wǎng)站