基于Web日志挖掘的聚類算法研究.pdf

1、隨著Internet的迅速發(fā)展，人們對網(wǎng)絡(luò)的依賴已經(jīng)越來越大，而網(wǎng)絡(luò)中的信息量隨著網(wǎng)絡(luò)用戶及網(wǎng)絡(luò)資源的發(fā)展而迅速膨脹，人們在信息的海洋中，也逐漸失去方向，用戶如何從這巨大的信息量當(dāng)中尋找出很小的一部分感興趣的信息，商家如何改善自己的經(jīng)營方式，網(wǎng)站如何改善自己的站點(diǎn)，這些問題的提出就引出了一個新的研究方向，即Web挖掘的研究，而Web挖掘當(dāng)中，最重要的一個研究方向即為Web日志挖掘。所謂Web日志挖掘就是將Web日志數(shù)據(jù)引入到傳統(tǒng)的數(shù)據(jù)挖

2、掘當(dāng)中，挖掘出知識的過程。Web日志數(shù)據(jù)本身與傳統(tǒng)數(shù)據(jù)相比有一些獨(dú)特的特點(diǎn)，這對有關(guān)的研究工作也帶來了一定的挑戰(zhàn)。目前，對于Web挖掘，尤其是Web日志挖掘的研究越來越多。
　　 本文通過學(xué)習(xí)大量的文獻(xiàn)資料，系統(tǒng)的介紹了Web日志挖掘、聚類技術(shù)的基本理論，并針對部分算法的缺陷提出改進(jìn)方法，并通過實(shí)驗(yàn)進(jìn)行論證。
　　 首先，介紹了當(dāng)前的研究現(xiàn)狀，分別包括國內(nèi)和國外的研究情況，相比之下，國外的研究比較成熟，而國內(nèi)主要的研究依

3、然處于理論研究階段。然后，介紹了數(shù)據(jù)挖掘以及Web日志挖掘的理論內(nèi)容，包括挖掘的過程以及挖掘的數(shù)據(jù)特點(diǎn)等。
　　 其次，重點(diǎn)介紹了Web日志挖掘的數(shù)據(jù)預(yù)處理的理論知識以及目前的研究方法，數(shù)據(jù)預(yù)處理的過程分別為數(shù)據(jù)清理、用戶識別、會話識別、路徑補(bǔ)充和事務(wù)識別。針對目前的研究情況，提出了一種預(yù)處理的改進(jìn)方法，在會話識別時，使用用戶訪問樹的方法，在不知道網(wǎng)站拓?fù)浣Y(jié)構(gòu)的情況下，依然能夠得到用戶的會話，并且可以省略掉路徑補(bǔ)充的步驟，直接得

4、到用戶的事務(wù)。在事務(wù)識別過程當(dāng)中，對事務(wù)當(dāng)中的每個頁面進(jìn)行分類并記錄，分別記為導(dǎo)航頁面和內(nèi)容頁面，如果事務(wù)中所有的頁面均為導(dǎo)航頁面，將其看作是無效事務(wù)，將其去除，大大的減少了數(shù)據(jù)庫的容量，但并不減少數(shù)據(jù)的信息量，這對后期的研究工作也是非常有意義的。
　　 最后，詳細(xì)介紹了聚類分析的相關(guān)理論知識，并給出了頁面興趣度、相似度的定義，然后重點(diǎn)介紹了K-means算法，并對其優(yōu)缺點(diǎn)進(jìn)行分析。針對K-means算法原有的初始中心點(diǎn)的選擇問

5、題、噪聲數(shù)據(jù)的影響等提出改進(jìn)方法，使用一種模糊的劃分原則將整個數(shù)據(jù)集分類，再使用密度的方法對這個劃分進(jìn)行調(diào)整，從而得出K個高密度的區(qū)域。這樣得出的K值比依靠經(jīng)驗(yàn)獲得的K值更合理，并從這K個高密度區(qū)域分別選擇一個點(diǎn)作為初始中心點(diǎn)，這比隨機(jī)選擇的K個初始中心點(diǎn)得到的聚類結(jié)果更穩(wěn)定、更加合理。同時，在對均值計(jì)算時引入權(quán)重，目的是為了減小噪聲數(shù)據(jù)對均值點(diǎn)的確定的影響。計(jì)算加權(quán)均值得到的質(zhì)心能夠更加靠近簇的距離較近的數(shù)據(jù)堆，從而削弱了包含孤立點(diǎn)的