Web站點(diǎn)安全日志分析系統(tǒng)的分析與設(shè)計(jì).pdf

1、互聯(lián)網(wǎng)快速的發(fā)展，使得國(guó)內(nèi)網(wǎng)站快速成長(zhǎng)，誕生了大批大型的網(wǎng)站，如新浪，搜狐，網(wǎng)易等。這些網(wǎng)站中，中小型的WEB站點(diǎn)更是不計(jì)其數(shù)。在這些網(wǎng)站的建構(gòu)過(guò)程中，網(wǎng)站設(shè)計(jì)者一般只關(guān)注對(duì)外部的用戶(hù)訪(fǎng)問(wèn)速度，對(duì)于用戶(hù)體驗(yàn)，則關(guān)注較少。為了改善用戶(hù)體驗(yàn)，網(wǎng)站的相關(guān)技術(shù)人員需要在維護(hù)大量的線(xiàn)上服務(wù)器的同時(shí)，對(duì)站點(diǎn)是否能被用戶(hù)正常訪(fǎng)問(wèn)實(shí)施監(jiān)控。通過(guò)這種監(jiān)控，了解服務(wù)器運(yùn)行的狀況，網(wǎng)站維護(hù)人員通過(guò)對(duì)日志的分析，明確網(wǎng)站運(yùn)行的問(wèn)題所在，同時(shí)將此問(wèn)題及時(shí)解決，使

2、客戶(hù)端的網(wǎng)站訪(fǎng)問(wèn)恢復(fù)正常。 本論文針對(duì)WEB站點(diǎn)的日志挖掘來(lái)判斷用戶(hù)惡意的攻擊及搜索引擎抓取過(guò)于頻繁等問(wèn)題，以WEB站點(diǎn)產(chǎn)生的日志為主要研究對(duì)象，對(duì)日志進(jìn)行了挖掘過(guò)濾分析，在對(duì)HTTP協(xié)議相關(guān)內(nèi)容了解后，對(duì)日志分析結(jié)果作了分析研究。并設(shè)計(jì)日志分析系統(tǒng)的解決方案。包括核心分析系統(tǒng)，結(jié)果展示系統(tǒng)，服務(wù)器信息維護(hù)系統(tǒng)。該系統(tǒng)能及時(shí)查詢(xún)到上一時(shí)間段分析日志的服務(wù)器所收到的請(qǐng)求類(lèi)型、狀態(tài)、狀態(tài)數(shù)量及請(qǐng)求數(shù)等，通過(guò)上一時(shí)間段服務(wù)器運(yùn)行數(shù)據(jù)，

3、來(lái)判斷程序邏輯嚴(yán)密性，用戶(hù)體驗(yàn)好壞，是否有用戶(hù)惡意請(qǐng)求，搜索引擎抓取是否過(guò)于頻繁等問(wèn)題。 論文主要工作包括以下幾點(diǎn)。 (1)挖掘Web用戶(hù)訪(fǎng)問(wèn)日志，并做分析統(tǒng)計(jì)，將分析結(jié)果保存于數(shù)據(jù)庫(kù)。因?yàn)閷?duì)于訪(fǎng)問(wèn)量大的站點(diǎn)來(lái)說(shuō)，每個(gè)小時(shí)的日志文件會(huì)比較大，如果需要尋找問(wèn)題，直接打開(kāi)日志文件是比較耗費(fèi)內(nèi)存和相關(guān)資源的。因此將日志過(guò)濾并統(tǒng)計(jì)出結(jié)果是維護(hù)人員快速的找到問(wèn)題所在。對(duì)大流量站點(diǎn)來(lái)說(shuō)，該系統(tǒng)的重要性和應(yīng)用性體現(xiàn)在，能及早找到問(wèn)題，

4、將損失降到最低。 (2)設(shè)計(jì)出查詢(xún)高效、結(jié)構(gòu)優(yōu)化的分析結(jié)果數(shù)據(jù)庫(kù)系統(tǒng)，使得統(tǒng)計(jì)數(shù)據(jù)得以有效管理和快速查詢(xún)的實(shí)現(xiàn)，從而使問(wèn)題得以快速解決，這對(duì)于維護(hù)者解決問(wèn)題很關(guān)鍵。在數(shù)據(jù)庫(kù)設(shè)計(jì)上會(huì)考慮服務(wù)器端常會(huì)出現(xiàn)的問(wèn)題。Web服務(wù)器返回狀態(tài)碼為500和503的情況是客戶(hù)端經(jīng)常遇到的，time-taken即所花時(shí)間也是一個(gè)重要的參數(shù)。所用時(shí)間表示服務(wù)器端響應(yīng)花費(fèi)的時(shí)間，它是服務(wù)器端程序效率的一個(gè)重要標(biāo)志?；ㄙM(fèi)時(shí)間越長(zhǎng)，服務(wù)器端效率越低。在客戶(hù)