云計(jì)算技術(shù)在web日志挖掘中的應(yīng)用研究.pdf

1、如何解決數(shù)據(jù)挖掘中海量數(shù)據(jù)處理的問題一直是數(shù)據(jù)挖掘領(lǐng)域一個(gè)非常重要的研究課題。尤其是隨著網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，web上的數(shù)據(jù)正以指數(shù)級形式飛速增長，且web上的數(shù)據(jù)具有海量、多樣、異構(gòu)、動(dòng)態(tài)變化等特點(diǎn)，這使得基于單一節(jié)點(diǎn)的集中式數(shù)據(jù)挖掘平臺已經(jīng)不能滿足目前海量數(shù)據(jù)網(wǎng)絡(luò)的分析任務(wù)了。如何實(shí)現(xiàn)快速地從web 這個(gè)最大的數(shù)據(jù)集合中提取出有用的信息已成為數(shù)據(jù)挖掘領(lǐng)域一個(gè)備受國內(nèi)外學(xué)者關(guān)注的課題。
　　 云計(jì)算正是產(chǎn)生于這樣的背景之下，它的

2、出現(xiàn)給海量數(shù)據(jù)的處理和存儲帶來了曙光。同時(shí)，云計(jì)算只需要部署在普通的廉價(jià)計(jì)算機(jī)集群上即可運(yùn)行，但是數(shù)據(jù)處理能力卻很強(qiáng)，因此Web數(shù)據(jù)挖掘系統(tǒng)在云計(jì)算集群框架下的成功實(shí)行具有很重要的意義和應(yīng)用價(jià)值。
　　 本文在Hadoop 平臺上，結(jié)合web日志挖掘的特點(diǎn)，給出了一種基于云計(jì)算的web日志挖掘系統(tǒng)的設(shè)計(jì)方案，并對該系統(tǒng)的各個(gè)功能模塊進(jìn)行了詳細(xì)的闡述。同時(shí)，針對目前從web日志中挖掘用戶偏愛路徑的算法注重客觀訪問頻度，而忽略用戶對

3、這一頻繁訪問路徑是否感興趣的不足，結(jié)合網(wǎng)站拓?fù)浣Y(jié)構(gòu)圖修正基于頻度的用戶偏愛路徑的衡量標(biāo)準(zhǔn)，提出了有用偏愛度的概念，給出了一個(gè)挖掘用戶瀏覽偏愛路徑的方法，從而剔除了由于頁面放置和鏈接等因素對挖掘的影響。
　　 最后對本文給出的改進(jìn)算法的有效性以及云計(jì)算平臺的高效性進(jìn)行了實(shí)驗(yàn)比較分析。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的挖掘用戶偏愛瀏覽路徑的算法更能反映用戶的瀏覽意圖。同時(shí)，利用云計(jì)算平臺，通過“云”中多個(gè)資源完成原先由一個(gè)節(jié)點(diǎn)承擔(dān)的工作，無論是