基于粗糙集和模糊聚類的Web日志增量式挖掘研究.pdf

1、目前隨著互聯(lián)網(wǎng)的蓬勃發(fā)展，尤其是電子商務(wù)的發(fā)展為越來越多的用戶提供了Web服務(wù)。網(wǎng)民的選擇增多，對網(wǎng)絡(luò)服務(wù)的需求趨于理性和多樣化，這為Web挖掘的發(fā)展提供了現(xiàn)實(shí)基礎(chǔ)。對客戶的群體行為進(jìn)行分析，以獲取在用戶行為中反映出來的用戶興趣。對用戶興趣進(jìn)行分析，改進(jìn)Web站點(diǎn)結(jié)構(gòu)，在競爭中占據(jù)有利地位，成為眾多Web服務(wù)供應(yīng)商急需解決的問題。
　　 所謂Web日志挖掘，是從存儲在Web服務(wù)器中的日志數(shù)據(jù)中發(fā)現(xiàn)人們感興趣的知識的過程。目前許多

2、研究都集中在Web使用模式的挖掘上，旨在通過分析Web用戶的行為模式，來發(fā)現(xiàn)用戶的興趣度，從而通過改進(jìn)站點(diǎn)結(jié)構(gòu)的方法來提高站點(diǎn)的吸引力。這種挖掘模式具有模糊性，傳統(tǒng)的數(shù)學(xué)理論不足以完成這一任務(wù)，因此采用了模糊聚類和粗糙集的相關(guān)知識。
　　 本文將基于密度的DBSCAN算法與傳統(tǒng)的SOFM網(wǎng)絡(luò)相結(jié)合，提出了一種基于SOFM網(wǎng)絡(luò)的增量式聚類算法。SOFM網(wǎng)絡(luò)的特點(diǎn)就是適用于高維數(shù)據(jù)的聚類、自組織學(xué)習(xí)和訓(xùn)練能力強(qiáng)等，非常適合用于Web

3、日志的挖掘。然而由于Web站點(diǎn)的訪問需要表現(xiàn)出用戶的多興趣，而且隨著用戶興趣的漂移，理應(yīng)對聚類結(jié)果做出相應(yīng)的改變，這一點(diǎn)是傳統(tǒng)的SOFM網(wǎng)絡(luò)無法解決的。針對這些問題，把DBSCAN算法與SOFM網(wǎng)絡(luò)相結(jié)合，DBSCAN算法的特點(diǎn)在于可以用于發(fā)現(xiàn)任何形狀的簇，對聚類的變化敏感，因此隨著數(shù)據(jù)集規(guī)模的增量變化，這種算法可以發(fā)現(xiàn)用戶興趣的漂移。通過大量的樣本數(shù)據(jù)對改進(jìn)后的SOFM網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使得參數(shù)和權(quán)值趨于穩(wěn)定，為網(wǎng)絡(luò)應(yīng)用階段做好準(zhǔn)備。

4、r>　　 在網(wǎng)絡(luò)應(yīng)用階段，把各參數(shù)和輸出神經(jīng)元的權(quán)值設(shè)置為訓(xùn)練之后的值，不再變化。對輸入模式進(jìn)行聚類，然后通過隸屬函數(shù)更新輸入模式的隸屬度。對于大于隸屬度閾值的神經(jīng)元，進(jìn)行輸出。
　　 最后，本文設(shè)計(jì)了仿真實(shí)驗(yàn)。對某新聞網(wǎng)站的服務(wù)器日志數(shù)據(jù)進(jìn)行了聚類，并進(jìn)行了分析。這個(gè)模型與傳統(tǒng)的聚類方法不同，具有增量式聚類的能力。首先用樣本數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，然后再對測試數(shù)據(jù)進(jìn)行聚類。最后的實(shí)驗(yàn)結(jié)果從訓(xùn)練誤差和聚類結(jié)果兩方面進(jìn)行了對比，實(shí)驗(yàn)