基于垂直搜索技術(shù)的網(wǎng)站分析系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、本課題在對(duì)網(wǎng)站監(jiān)管現(xiàn)狀作了深入而細(xì)致的調(diào)查研究之后，提出通過(guò)搜集DNS解析日志和網(wǎng)絡(luò)運(yùn)營(yíng)商的互聯(lián)網(wǎng)IP地址段，與信息產(chǎn)業(yè)部網(wǎng)站備案系統(tǒng)數(shù)據(jù)交叉比對(duì)，然后結(jié)合垂直搜索的核心技術(shù)-信息采集技術(shù)和自然語(yǔ)言解析技術(shù)等，實(shí)現(xiàn)對(duì)全省網(wǎng)站的備案情況進(jìn)行統(tǒng)計(jì)和管理，對(duì)全省網(wǎng)站數(shù)據(jù)的動(dòng)態(tài)實(shí)時(shí)掃描、監(jiān)控和深度挖掘，增強(qiáng)互聯(lián)網(wǎng)管理的主動(dòng)性和時(shí)效性，提高面對(duì)各類(lèi)新的反監(jiān)管手段的應(yīng)變能力。 本文首先介紹了垂直搜索及其相關(guān)技術(shù)，在此基礎(chǔ)上提出和設(shè)計(jì)了基于垂

2、直搜索技術(shù)的網(wǎng)站分析系統(tǒng)的整體框架和技術(shù)路線，然后介紹了網(wǎng)站分析系統(tǒng)各子系統(tǒng)的詳細(xì)設(shè)計(jì)。論文主體部分著重研究和實(shí)現(xiàn)了垂直搜索引擎的兩個(gè)核心部分：網(wǎng)絡(luò)蜘蛛和中文分詞。其中網(wǎng)絡(luò)蜘蛛融合了數(shù)據(jù)庫(kù)隊(duì)列、多進(jìn)程和多線程以及網(wǎng)頁(yè)元素步進(jìn)解析算法等技術(shù)：中文分詞部分采用了機(jī)械分詞與統(tǒng)計(jì)分詞相結(jié)合的方法，使用含有詞語(yǔ)優(yōu)先級(jí)的統(tǒng)計(jì)分詞詞典計(jì)算分詞最短路徑，以獲取最優(yōu)切分結(jié)果。經(jīng)過(guò)初步測(cè)試，垂直搜索引擎在性能和準(zhǔn)確率方面都能滿(mǎn)足網(wǎng)站分析系統(tǒng)的性能需求。本文