Web日志挖掘的相關(guān)技術(shù)研究.pdf

1、隨著Internet的迅速發(fā)展和不斷普及，Web日志資源越來越多，如何分析和利用這些海量數(shù)據(jù)是當(dāng)前突出的問題。Web日志挖掘是網(wǎng)絡(luò)信息處理的一種新的技術(shù)，也是數(shù)據(jù)挖掘在Internet領(lǐng)域的一個(gè)重要應(yīng)用。Web日志挖掘是將數(shù)據(jù)挖掘技術(shù)用于Web服務(wù)器日志以獲取有規(guī)律性的知識(shí)和用戶的訪問行為模式，從而改善Web站點(diǎn)的組織結(jié)構(gòu)，提高站點(diǎn)的訪問質(zhì)量，改進(jìn)網(wǎng)站的性能。 數(shù)據(jù)預(yù)處理是Web日志挖掘的重要環(huán)節(jié)，它決定模式發(fā)現(xiàn)和模式分析算法的

2、性能。Web日志預(yù)處理主要包括5個(gè)環(huán)節(jié)：數(shù)據(jù)清理、用戶識(shí)別、會(huì)話識(shí)別、路徑補(bǔ)充和事務(wù)識(shí)別。本文對(duì)Web日志預(yù)處理的各個(gè)環(huán)節(jié)進(jìn)行了研究，并介紹了各個(gè)環(huán)節(jié)的相關(guān)方法。在分析目前會(huì)話構(gòu)造算法的基礎(chǔ)上提出了將兩種時(shí)間窗口結(jié)合來構(gòu)造會(huì)話的方法。頻繁序列模式挖掘是Web日志挖掘的一個(gè)重要研究方向，由于類Apriroi的序列模式挖掘算法要掃描序列數(shù)據(jù)庫多次，且會(huì)產(chǎn)生龐大的候選集。本文采用了WAP-Tree結(jié)構(gòu)來存儲(chǔ)事務(wù)序列，只需掃描數(shù)據(jù)庫兩次，由于W

3、AP-Mine算法要遞歸的產(chǎn)生條件子樹，耗費(fèi)內(nèi)存空間。針對(duì)在WAP-Tree樹上的挖掘算法WAP-Mine的不足，提出了基于WAP-Tree的新挖掘算法NWAP-Mine算法，實(shí)驗(yàn)證明了算法的有效性。針對(duì)現(xiàn)有的序列模式挖掘算法沒有考慮網(wǎng)頁的權(quán)重，提出了基于平均停留時(shí)間的興趣度定義，針對(duì)現(xiàn)有網(wǎng)頁興趣度存在的不足，提出了一種改進(jìn)的網(wǎng)頁興趣度，并將該興趣度作為權(quán)重應(yīng)用到權(quán)重序列模式挖掘算法，找出用戶感興趣的訪問路徑。通過實(shí)驗(yàn)表明將改進(jìn)后的興趣