互聯(lián)網(wǎng)信息采集分析系統(tǒng)的研究及實(shí)現(xiàn).pdf

1、Internet應(yīng)用的普及使得數(shù)據(jù)挖掘技術(shù)的重點(diǎn)已經(jīng)從傳統(tǒng)的基于數(shù)據(jù)庫(kù)的應(yīng)用轉(zhuǎn)移到基于Web的應(yīng)用。本文簡(jiǎn)要介紹了互聯(lián)網(wǎng)信息采集和數(shù)據(jù)挖掘?qū)崿F(xiàn)技術(shù)，結(jié)合公安機(jī)關(guān)公共信息網(wǎng)絡(luò)安全監(jiān)察部門(mén)工作需求，研究互聯(lián)網(wǎng)信息采集分析系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)。該系統(tǒng)通過(guò)建立網(wǎng)頁(yè)資源模型、結(jié)合Sipder技術(shù)、內(nèi)容分析技術(shù)，引入用戶數(shù)據(jù)項(xiàng)和分析定義編輯器，實(shí)現(xiàn)可定制、可視化、通用性較強(qiáng)互聯(lián)網(wǎng)信息采集系統(tǒng)。能定期自動(dòng)跟蹤相關(guān)網(wǎng)站或網(wǎng)頁(yè)，進(jìn)行比較分析、抽取、規(guī)整入庫(kù)、

2、分類等從互聯(lián)網(wǎng)上獲取所需信息。 支持向量機(jī)（Support Vector Machine，簡(jiǎn)稱SVM）是近年來(lái)在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上發(fā)展起來(lái)的一種新的模式識(shí)別方法，在解決小樣本、非線性及高維模式識(shí)別問(wèn)題中表現(xiàn)出許多特有的優(yōu)勢(shì)。本文提出的系統(tǒng)的Web數(shù)據(jù)挖掘是通過(guò)使用SVM-light軟件包提供文本自動(dòng)分類功能實(shí)現(xiàn)了互聯(lián)網(wǎng)信息的自動(dòng)分類。實(shí)驗(yàn)證明，該系統(tǒng)具有較高的分類精度和速度，能有效發(fā)現(xiàn)我們“關(guān)心”的信息。 特征（Fea

3、ture）用于判別哪些信息是與分類任務(wù)相關(guān)，特征的數(shù)量影響分類器的速度，大量的特征會(huì)導(dǎo)致很長(zhǎng)的訓(xùn)練和分類時(shí)間。特征選?。‵eature Selection）就是降低輸入維度，是文本自動(dòng)分類的一個(gè)重要的預(yù)處理環(huán)節(jié)。特征選取能減少描述文本文檔的特征詞的數(shù)量，提高分類過(guò)程的效率。此外，恰當(dāng)?shù)奶卣鬟x取還能提高分類器的精度。文本分類的特征選取是基于一種貪婪過(guò)濾的方法，通過(guò)統(tǒng)計(jì)的方法對(duì)每個(gè)特征進(jìn)行評(píng)估，計(jì)算其特征權(quán)重。本文詳細(xì)分析了文檔頻率DF、信

4、息增益IG、CHI統(tǒng)計(jì)和互信息MI等評(píng)估函數(shù)的優(yōu)缺點(diǎn)，發(fā)現(xiàn)了在通常環(huán)境中表現(xiàn)良好的特征選取方法并不適合于Web中文文本分類問(wèn)題的事實(shí)。分析了產(chǎn)生差異的原因，并提出了適合于Web中文文本環(huán)境的特征選取方法。該方法有利于提高分類效果和加速分類過(guò)程。 本研究和實(shí)現(xiàn)的重點(diǎn)內(nèi)容包括： ① 提出Web網(wǎng)站的通用四層結(jié)構(gòu)模型，并在系統(tǒng)實(shí)現(xiàn)； ② 分析幾類Web網(wǎng)站文本的特點(diǎn)和相應(yīng)的最佳特征選取方法。 ③ 提出人工特征選