WEB日志數(shù)據(jù)挖掘的研究和實(shí)現(xiàn).pdf

1、隨著信息技術(shù)和計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的不斷成熟和發(fā)展,數(shù)據(jù)庫技術(shù)雖然已日漸成熟并被廣泛應(yīng)用,但其只是基本的信息存儲(chǔ)和管理的方式,大量有價(jià)值的數(shù)據(jù)被隱藏在數(shù)據(jù)中而不能被人所使用。數(shù)據(jù)挖掘作為一門新興的研究領(lǐng)域應(yīng)運(yùn)而生。數(shù)據(jù)挖掘技術(shù)被稱為未來信息處理的主要技術(shù)之一。依據(jù)數(shù)據(jù)挖掘數(shù)據(jù)在Web中的數(shù)據(jù)源的不同,可以把Web挖掘分為Web結(jié)構(gòu)挖掘、WEB訪問信息挖掘、Web內(nèi)容挖掘。Web日志挖掘的過程一般分為三個(gè)階段:日志數(shù)據(jù)預(yù)處理、模式識(shí)別分析階段和

2、挖掘算法的實(shí)施。XML全稱為可擴(kuò)展標(biāo)記語言,它以一種開放的、自我描述的方式定義數(shù)據(jù)結(jié)構(gòu),能夠明晰的對(duì)數(shù)據(jù)的結(jié)構(gòu)進(jìn)行表示,從而體現(xiàn)出數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系,XML為異構(gòu)的數(shù)據(jù)源提供了一種統(tǒng)一結(jié)構(gòu)的描述方法。ID3算法是在數(shù)據(jù)挖掘技術(shù)中經(jīng)常使用的經(jīng)典算法,其主要應(yīng)用于分類挖掘的實(shí)現(xiàn)中,產(chǎn)生的總是最小的樹形結(jié)構(gòu),通過驗(yàn)證實(shí)例證明本文設(shè)計(jì)的系統(tǒng)對(duì)日志文件的的事物分析具有很好的效果。本系統(tǒng)的主要?jiǎng)?chuàng)新之處即是在于采用XML規(guī)則文件技術(shù),對(duì)日志數(shù)據(jù)進(jìn)行

3、預(yù)處理,進(jìn)行規(guī)則的匹配。其具有很強(qiáng)的靈活性,表現(xiàn)在用戶可以根據(jù)自己的習(xí)慣偏好對(duì)XML規(guī)則文件進(jìn)行配置,產(chǎn)生適合自身特點(diǎn)的日志規(guī)則,從而生成用戶感興趣的新的日志文件。在本設(shè)計(jì)系統(tǒng)可以創(chuàng)建六種針對(duì)不同的日志文件的規(guī)則:通用日志文件規(guī)則、syslog日志文件規(guī)則、Weblogic規(guī)則、log4j-xml規(guī)則、oracle-alter日志規(guī)則、jboss規(guī)則。根據(jù)不同的日志文件類型,本系統(tǒng)可以產(chǎn)生相對(duì)應(yīng)的規(guī)則文件。規(guī)則文件以XML格式存在,根據(jù)